Local Diagnostics of Continuous Normalizing Flow for Out-of-Distribution Detection

Resumo Técnico: Diagnósticos Locais de Fluxo de Normalização Contínua para Detecção de Fora da Distribuição (OOD)

Definição do Problema
O artigo aborda o desafio da detecção de Fora da Distribuição (OOD - Out-of-Distribution) em espaços de dados de alta dimensão, especificamente quando a observação alvo reside em um subespaço desses dados. Um obstáculo primário é o "paradoxo da verossimilhança", onde modelos generativos profundos (DGMs), incluindo Fluxos de Normalização Contínua (CNFs), atribuem erroneamente verossimilhanças mais altas a amostras OOD do que a dados da distribuição interna (ID). Esse fenômeno é atribuído ao viés indutivo dos DGMs, que priorizam detalhes estruturais de baixo nível (ex: estatísticas de fundo ou correlações de pixels) em detrimento da coerência semântica de alto nível. Embora métodos existentes tentem mitigar isso via razões de verossimilhança ou complexidade de entrada, eles frequentemente tratam os DGMs como estimadores de probabilidade estáticos, ignorando a rica informação dinâmica incorporada nas trajetórias de treinamento e inferência do modelo.

Metodologia
Os autores propõem uma estrutura de Sub-Fluxo Lagrangiano (LSF) projetada para isolar e estimar a densidade para componentes relevantes (o subespaço alvo) enquanto utiliza os componentes restantes como contexto. A metodologia é fundamentada na dinâmica de fluidos e envolve três componentes técnicos principais:

1. Estrutura de Sub-Fluxo Lagrangiano (LSF):

   • Os autores decompõem o espaço de fluxo ambiente $\mathbb{R}^D$ em um subespaço alvo $S$ e um espaço de contexto complementar $C$.
   • Eles identificam um problema crítico denominado "vazamento de densidade interdimensional", onde a evolução do espaço de contexto $C$ faz com que a massa de probabilidade derive para dentro ou para fora do subespaço alvo $S$, violando a conservação de massa local e mascarando sinais cinemáticos intrínsecos locais.
   • Para resolver isso, introduzem um mecanismo de selagem cinemática. Isso envolve projetar o campo de velocidade original $v(x, t)$ no subespaço $S$, anulando os componentes de velocidade em $C$ (definindo $v_C = 0$). Isso cria um "tubo rígido" que restaura a autonomia do sub-fluxo, permitindo uma equação de continuidade local válida sem redefinir o sistema dinâmico global.

2. Estimador de Traço de Hutchinson para Sub-fluxo:

   • Para quantificar a evolução da densidade ao longo do caminho selado, os autores derivam uma fórmula de mudança de variáveis instantânea para sub-fluxos.
   • Eles propõem uma ferramenta estocástica para estimar eficientemente o traço do Jacobiano do sub-fluxo. Ao aproveitar a projeção cinemática, demonstra-se que o traço do Jacobiano do sub-fluxo é equivalente ao traço do Jacobiano do fluxo total quando projetado em vetores de sondagem específicos. Isso permite a estimativa eficiente usando um pequeno número de produtos Jacobiano-vetor (JVPs), tornando a abordagem escalável para campos vetoriais neurais de alta dimensão.

3. Métricas de Diagnóstico:
   O artigo define várias métricas baseadas na dinâmica do sub-fluxo para detectar amostras OOD (especificamente erros de pronúncia em fala):

   • Baseadas em verossimilhança: Log-verossimilhança da sub-representação ($LL$), ajuste de prior no espaço latente ($PRIOR$) e correção de distância radial ($RAD$).
   • Geométricas/Heurísticas: Métricas que medem o desvio do caminho de transporte ótimo (OT) retilíneo esperado para amostras ID. Estas incluem DISP (razão entre deslocamento e comprimento do caminho) e COS (similaridade de cosseno integrada entre o caminho OT e o caminho de branqueamento/whitening).

Principais Contribuições

• Estrutura LSF: Identificação do problema de acoplamento global em CNFs baseados em Transformers e a proposta da estrutura de Sub-Fluxo Lagrangiano para inspecionar propriedades locais preservando o contexto global.
• Ferramentas Estocásticas: Desenvolvimento de ferramentas eficientes para separar sinais de diagnóstico locais da evolução global, especificamente o Estimador de Traço de Hutchinson de sub-fluxo.
• Aplicação à Fala: Demonstração dessas ferramentas no domínio da detecção de erro de pronúncia por fonema zero-shot usando um modelo generativo de fala baseado em CNF (F5-TTS).
• Análise Geométrica: Visualização e discussão das propriedades geométricas do campo vetorial aprendido, mostrando que o descasamento geométrico é um indicador mais sensível para detecção OOD do que flutuações de densidade.

Resultos
Os autores avaliaram seus métodos no conjunto de dados CMU Kids para detecção de erro de pronúncia por fonema zero-shot.

• Verossimilhança vs. Geometria: Métricas baseadas em verossimilhança (GOP-LL, GOP-PRIOR) apresentaram desempenho inferior comparado aos métodos geométricos (GOP-DISP, GOP-COS). Os resultados confirmam o "paradoxo da verossimilhança", onde amostras mal pronunciadas às vezes geraram verossimilhanças mais altas do que as corretas.
• Relativo vs. Absoluto: Medidas relativas (comparando contra um modelo de fundo ou contexto) geralmente superaram as medidas absolutas.
• Desempenho: A métrica geométrica GOP-COS (relativa) alcançou um AUC de 0,738, superando os métodos tradicionais baseados em GMM (0,723), mas ficando aquém dos métodos discriminativos de estado da arte como o GOP-CTC-SF (0,915).
• Validação Sintética: Experimentos em dados sintéticos demonstraram que o mecanismo de selagem impede com sucesso a poluição de densidade proveniente da dimensão complementar, resultando em uma estimativa de densidade suave e completa no manifold alvo.

Significância e Alegações
O artigo afirma que o verdadeiro poder de diagnóstico dos CNFs não reside em pontuações de verossimilhança holísticas, mas nas trajetórias localizadas e de grão fino dentro do manifold de alta dimensão. Ao decompor o fluxo global em sub-fluxos específicos de contexto, o método captura a incoerência estrutural que de outra forma seria mascarada pela média global.

Os autores concluem que o descasamento geométrico (desvio da trajetória de fluxo esperada) serve como um indicador mais sensível para a detecção de OOD do que simples flutuações de densidade em modelos baseados em CNF. Embora o método alcance um desempenho comparável aos modelos discriminativos tradicionais nesta tarefa específica, ele fica aquém das abordagens discriminativas de estado da arte (SOTA). O trabalho representa uma primeira tentativa de usar CNFs para detecção de subespaço OOD, sugerindo que trabalhos futuros devem verificar a generalização para outros domínios, como visão computacional ou sistemas de sensores.