Geometrically Constrained Outlier Synthesis

O artigo apresenta o GCOS, um framework de regularização que sintetiza outliers virtuais no espaço de características respeitando a estrutura geométrica dos dados de treinamento e utilizando limites adaptativos para melhorar a detecção de dados fora de distribuição (OOD) e permitir inferência conformal com garantias estatísticas.

O essencial

Imagine que você está treinando um guarda de segurança muito inteligente para um museu de arte. O trabalho dele é reconhecer todas as pinturas famosas que estão no museu (os dados "dentro da distribuição" ou ID).

O problema é que, às vezes, um ladrão entra com uma pintura estranha que não é do museu (um dado "fora da distribuição" ou OOD). Se o guarda for muito confiante, ele pode olhar para essa pintura estranha e dizer: "Ah, isso é uma cópia do Van Gogh!" e deixá-la entrar. Isso é perigoso. O guarda precisa saber quando não sabe o que está vendo.

A maioria dos guardas (redes neurais comuns) é treinada apenas para reconhecer o que está no museu. Quando vê algo estranho, eles tentam forçar uma resposta, dizendo "é Van Gogh" com 99% de certeza, mesmo que seja um quadro de um gato.

Os autores deste paper criaram um novo método chamado GCOS (Síntese de Outliers Geometricamente Confinados). Vamos explicar como funciona usando uma analogia simples:

1. O Problema: O Guarda "Cego"

Antes, os treinadores tentavam ensinar o guarda mostrando fotos de coisas estranhas (outliers) que não tinham nada a ver com o museu (ex: mostrar uma foto de um carro para um guarda de arte). Isso ajuda, mas não é perfeito. O guarda aprende a dizer "isso é um carro", mas não aprende a dizer "isso é algo que não deveria estar aqui, mesmo que pareça uma pintura".

Outros métodos tentavam criar "falsos" estranhos aleatoriamente no computador. Mas era como jogar dardos no escuro: às vezes o dardo caía longe demais (o guarda percebe fácil que é falso) e às vezes caía em cima de uma pintura real (o guarda confunde).

2. A Solução: O "Mapa de Territórios Proibidos" (GCOS)

O GCOS faz algo mais inteligente. Em vez de jogar dardos aleatórios, ele olha para o mapa que o guarda já aprendeu.

• O Mapa (Geometria): Imagine que as pinturas famosas formam ilhas no oceano. O guarda sabe exatamente onde estão essas ilhas. O GCOS olha para as "águas rasas" ao redor das ilhas. São áreas onde, teoricamente, não deveria haver nada, mas que estão tão perto das ilhas que um guarda desatento poderia se enganar.
• A Síntese (Criando os Falsos): O método cria "fantasmas" (imagens sintéticas) exatamente nessas águas rasas, nos lugares mais difíceis de distinguir. Ele não cria monstros gigantes (fáceis de detectar) nem pinturas perfeitas (confusas demais). Ele cria "quase-pinturas" que estão na fronteira exata do que é aceitável.

3. A "Casca de Concha" (O Controle de Qualidade)

Aqui entra a parte mais genial, chamada de Casca Conformal (Conformal Shell).

Imagine que você quer treinar o guarda para não ser enganado por falsificações que parecem reais. Você precisa definir um limite de "estranheza".

• Se a pintura for muito estranha, o guarda percebe fácil.
• Se for muito parecida, o guarda não percebe.

O GCOS usa uma régua matemática (baseada em estatística) para criar uma "casca" ao redor das ilhas de arte.

• O limite interno: Nada pode ser mais perto da ilha do que isso (senão é uma pintura real).
• O limite externo: Nada pode ser mais longe do que isso (senão é óbvio que é falso).

O sistema gera os "fantasmas" exatamente dentro dessa casca. Isso força o guarda a aprender a diferença sutil entre uma pintura real e uma falsificação muito bem feita.

4. O Resultado: Um Guarda Mais Humilde e Preciso

Ao treinar o guarda com esses "fantasmas" difíceis, ele aprende a:

1. Reconhecer melhor o que é real.
2. Dizer "Eu não sei" ou "Isso não é do museu" quando vê algo que está na fronteira, em vez de tentar adivinhar e errar.

Por que isso é importante?

O paper foca em um tipo de desafio difícil: Near-OOD.

• Far-OOD (Fácil): Ensinar um guarda de arte a não confundir um gato com um Van Gogh. (Qualquer um faz isso).
• Near-OOD (Difícil): Ensinar um guarda a distinguir um Van Gogh real de uma falsificação tão boa que parece real, ou de uma pintura de um estilo muito parecido.

O GCOS é excelente nisso. Ele faz o guarda ser mais robusto contra enganos sutis.

O "Pulo do Gato" Estatístico (Conformal Prediction)

No final do paper, eles mencionam uma extensão futura. Eles querem que o guarda não apenas diga "Isso é estranho", mas que diga: "Tenho 95% de certeza de que isso é estranho".
Isso é como dar ao guarda um certificado oficial que garante: "Se eu disser que algo é falso, há apenas 1 chance em 20 de eu estar errado". Isso traz uma segurança matemática que os métodos antigos não tinham.

Resumo em uma frase

O GCOS é como um treinador de segurança que, em vez de mostrar fotos aleatórias de ladrões, cria cenários de teste perfeitos e difíceis nas bordas do que é permitido, forçando o sistema a aprender exatamente onde está a linha entre o "seguro" e o "perigoso", tornando-o muito mais confiável em situações reais e complexas.

Resumo técnico

Título: Geometrically Constrained Outlier Synthesis (GCOS)

Autores: Daniil Karzanov e Marcin Detyniecki.

1. O Problema

Redes neurais profundas para classificação de imagens frequentemente exibem superconfiança em amostras fora da distribuição (Out-of-Distribution - OOD). Isso significa que, ao encontrar dados que não pertencem às classes de treinamento (sejam eles semanticamente distantes ou similares), o modelo pode atribuir uma alta probabilidade a uma das classes conhecidas, levando a falhas catastróficas em cenários do mundo real.

O artigo identifica duas limitações principais nas abordagens existentes:

1. Limitações na Síntese de Outliers: Métodos anteriores, como o Virtual Outlier Synthesis (VOS), assumem que outliers podem ser modelados por distribuições paramétricas simples (ex: Gaussiana) fora do suporte dos dados normais. Essa simplificação falha em capturar a natureza complexa e não-Gaussiana de anomalias reais e pode gerar outliers triviais (fáceis demais de detectar) ou indistinguíveis dos dados in-distribution (ID).
2. Foco em Benchmarks "Long-OOD": A maioria das pesquisas foca em detectar dados semanticamente muito diferentes (ex: classificador de animais testado com objetos industriais). O artigo argumenta que o desafio mais crítico é o Near-OOD (detecção de classes finas dentro do mesmo domínio, como raças de cães diferentes), onde a similaridade no espaço de características é alta.

2. Metodologia: Geometrically Constrained Outlier Synthesis (GCOS)

O GCOS é um framework de regularização durante o treinamento que gera outliers virtuais no espaço de características ocultas, respeitando a estrutura geométrica (manifold) aprendida dos dados ID. O processo ocorre em duas etapas principais:

A. Síntese Geométrica Constrained

Em vez de amostrar de distribuições pré-definidas, o GCOS explora a geometria do espaço de características:

1. Análise de Componentes Principais (PCA): Aplica-se PCA às representações ocultas dos dados de treinamento.
2. Identificação de Direções: Os componentes principais são divididos em "grandes" (alta variância, definindo o manifold dos dados) e "pequenos" (baixa variância).
3. Geração de Outliers: Os outliers são gerados movendo-se ao longo das direções de baixa variância (fora do manifold), mas mantendo-se próximos ao centróide dos dados. Isso cria pontos que são estatisticamente improváveis, mas não trivialmente óbvios.
4. Conformal Shell (Casca Conformal): Para controlar a "dificuldade" do outlier, o método utiliza uma heurística inspirada na Previsão Conformal (Conformal Prediction).
   • Define-se uma "casca" de magnitude de desvio ($\alpha$) baseada em quantis (ex: 95º e 99º percentil) de uma pontuação de não-conformidade (como distância de Mahalanobis) calculada em um conjunto de calibração.
   • Isso garante que os outliers sintéticos estejam em uma zona de "dificuldade ótima": nem muito próximos dos dados reais (indistinguíveis), nem muito distantes (fáceis demais).

B. Regularização Contrastiva

O método combina a síntese geométrica com uma função de perda de regularização:

• Objetivo: Maximizar a separabilidade entre amostras ID e os outliers sintéticos no espaço de pontuação (score space).
• Função de Perda: Utiliza uma abordagem contrastiva que minimiza a pontuação de não-conformidade das amostras ID e maximiza a das amostras OOD sintéticas.
• Híbrido: O GCOS propõe um uso híbrido onde a síntese é guiada pela geometria (distância de Mahalanobis), mas a regularização otimiza diretamente o Energy Strangeness Score (uma métrica baseada em energia que tem mostrado robustez para detecção OOD).

3. Contribuições Principais

1. Novo Paradigma de Síntese: Substitui a dependência de distribuições paramétricas fixas por uma síntese geométrica baseada em subespaços de baixa variância do manifold aprendido.
2. Heurística Conformal para Treinamento: Introduz o uso de quantis de pontuações de não-conformidade para definir limites adaptativos de geração de outliers, garantindo que eles sejam informativos para a regularização.
3. Foco em Near-OOD: Demonstra eficácia superior em cenários onde os dados OOD compartilham o mesmo domínio semântico que os dados ID (ex: raças de cães, níveis de retinopatia).
4. Extensão para Inferência Conformal: Explora a transição do framework para a Previsão Conformal na fase de inferência, convertendo pontuações de incerteza em valores-p estatisticamente válidos, oferecendo garantias formais de erro.

4. Resultados Experimentais

O GCOS foi avaliado em quatro conjuntos de dados desafiadores, com foco em Near-OOD:

• Datasets: Colored MNIST (mudança de distribuição de cor), MVTec (defeitos industriais), Stanford Dogs (raças de cães similares) e Retinopathy (patologias oculares).
• Desempenho:
  • O GCOS superou consistentemente o estado da arte (SOTA), incluindo métodos como VOS, Dream-OOD, NCIS, e abordagens baseadas em pontuação clássica (MSP, MaxLogit).
  • Métricas: Alcançou a maior AUROC média (93,47%) e taxas de FPR95 (False Positive Rate a 95% de True Positive Rate) significativamente menores em todos os datasets.
  • Visualização: Projeções UMAP mostram que o GCOS gera outliers em regiões "off-manifold" desafiadoras, forçando a fronteira de decisão a se ajustar mais firmemente ao redor dos clusters de dados, ao contrário do VOS que tende a gerar outliers nas bordas dos clusters.
• Inferência Conformal: Embora os resultados da inferência baseada puramente em testes de hipóteses conformais tenham sido mistos (devido à violação da trocaabilidade durante o treinamento online), a abordagem demonstrou potencial para fornecer garantias estatísticas formais em cenários de calibração pós-treinamento.

5. Significância e Impacto

O trabalho é significativo por várias razões:

• Robustez Geométrica: Demonstra que entender a geometria do espaço latente (especificamente as direções de baixa variância) é crucial para gerar exemplos de treinamento eficazes para detecção de anomalias.
• Segurança em IA Crítica: Ao focar em cenários Near-OOD e oferecer um caminho para garantias estatísticas formais (via Previsão Conformal), o GCOS avança em direção a sistemas de IA mais confiáveis para aplicações críticas como medicina (diagnóstico de retinopatia) e indústria (detecção de defeitos).
• Eficiência: Diferente de métodos baseados em difusão (como Dream-OOD) que são computacionalmente caros, o GCOS é leve e escalável, operando diretamente no espaço de características sem necessidade de geração de imagens complexas.

Em resumo, o GCOS propõe uma mudança de paradigma: em vez de apenas "adicionar ruído" ou gerar dados aleatórios, ele utiliza a estrutura geométrica aprendida pelo modelo para criar exemplos de treinamento que desafiam especificamente as fronteiras de decisão de forma inteligente e estatisticamente fundamentada.