Beyond the Class Subspace: Teacher-Guided Training for Reliable Out-of-Distribution Detection in Single-Domain Models

Este artigo identifica o colapso da sensibilidade a domínios (DSC) como uma falha geométrica em modelos treinados em domínio único que prejudica a detecção de dados fora de distribuição (OOD) e propõe a Treinamento Guiado por Professor (TGT), que utiliza um professor multi-domínio para preservar informações de deslocamento de domínio durante o treinamento, melhorando significativamente a detecção OOD sem custo adicional na inferência.

O essencial

Imagine que você treinou um especialista em identificar tipos de maçãs. Você mostrou a ele milhares de fotos de maçãs vermelhas, verdes e amarelas, todas tiradas na mesma fazenda, com a mesma luz e o mesmo fundo. O especialista ficou incrível: ele distingue uma maçã Fuji de uma Gala com perfeição.

Mas, de repente, você coloca na frente dele uma banana. O que acontece?

Neste cenário, o especialista, que foi treinado apenas com maçãs, provavelmente dirá: "Isso é uma maçã verde muito estranha!" e tentará classificá-la como tal. Ele não percebe que é uma banana porque, para ele, a única coisa que importa é a cor e a forma da "maçã". Ele perdeu a capacidade de perceber que o estilo da imagem (o fundo, a luz, a textura) mudou completamente.

Este é o problema central que o artigo "Além do Subespaço da Classe: Treinamento Guiado por Professor para Detecção Confiável de Dados Fora de Distribuição" tenta resolver.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Colapso da Sensibilidade"

Quando treinamos uma Inteligência Artificial (IA) apenas com dados de um único mundo (ex: apenas fotos de raios-X de um único hospital, ou apenas fotos de satélites de um único tipo de terreno), a IA aprende a ser um especialista em detalhes finos, mas vira um cego para o contexto geral.

• A Analogia do Túnel: Imagine que a IA entra em um túnel muito estreito (o "subespaço da classe"). Dentro desse túnel, ela vê tudo muito claramente (diferença entre uma maçã e uma pera). Mas, como o túnel é estreito, ela não consegue ver o que está acontecendo fora dele. Se algo vem de um lugar totalmente diferente (uma banana, um carro, uma foto de um hospital diferente), a IA não consegue perceber que está "fora do mapa".
• O Resultado: A IA acha que uma banana é uma maçã estranha, em vez de dizer: "Ei, isso nem é uma maçã!". Isso é perigoso em sistemas reais, como diagnósticos médicos ou inspeção industrial, onde detectar algo "fora do comum" é tão importante quanto identificar o que é comum.

2. A Solução: O "Treinamento Guiado por Professor" (TGT)

Os autores criaram uma técnica chamada TGT. A ideia é usar um "Professor" sábio para ensinar o "Aluno" (a IA que vamos usar) a não perder a visão do mundo exterior.

• O Professor (DINOv2): É uma IA superpoderosa que já viu de tudo: fotos de gatos, carros, paisagens, raios-X, satélites, etc. Ela sabe o que é um "mundo diferente".
• O Aluno (Sua IA): É a IA que você quer treinar para sua tarefa específica (ex: identificar tipos de tecido).
• O Segredo do Método:
  1. O Professor olha para a foto e diz: "Isso é uma maçã, mas olhe para o fundo, a luz e a textura. Isso tem um 'sabor' de fazenda X."
  2. O Aluno, que só quer aprender a classificar maçãs, normalmente ignoraria o fundo.
  3. A Mágica: O método TGT força o Aluno a prestar atenção no que o Professor vê, exceto na parte que diz "maçã". O Professor diz: "Esqueça a forma da maçã por um momento. Olhe para o resto da imagem. Isso é diferente do que você viu antes?"
  4. O Aluno aprende a manter essa "sensibilidade ao contexto" enquanto ainda aprende a classificar as maçãs.

3. O Resultado: Um Detetive Mais Inteligente

Depois desse treinamento especial:

• Se você mostrar uma maçã (mesmo que seja uma nova variedade), o Aluno ainda a reconhece como maçã.
• Se você mostrar uma banana, o Aluno olha para ela e diz: "Espere! O fundo, a luz e a textura não combinam com o meu mundo de maçãs. Isso é Fora de Distribuição (OOD)!"

Por que isso é incrível?

• Sem custo extra: O "Professor" é usado apenas durante o treinamento. Quando o sistema vai para a rua (na vida real), o Professor some. O Aluno fica sozinho, mas agora é mais esperto. Não há atraso no processamento.
• Funciona em qualquer lugar: Eles testaram isso em 8 cenários diferentes (medicina, satélites, roupas, pedras) e o método funcionou muito bem, reduzindo drasticamente os erros onde a IA tenta classificar algo que não deveria.

Resumo em uma frase

O artigo ensina como treinar uma IA para não ser tão "obcecada" pelos detalhes da tarefa que ela esquece de perceber que o mundo ao redor mudou, usando um "Professor" experiente para abrir os olhos do "Aluno" sem atrapalhar seu trabalho principal.

É como ensinar um detetive a não apenas olhar para a arma do crime, mas também para o cenário, para perceber quando algo está completamente fora de lugar.

Resumo técnico

Resumo Técnico: Beyond the Class Subspace (TGT)

1. O Problema: Falha Geométrica em Modelos de Domínio Único

A detecção de dados fora da distribuição (OOD - Out-of-Distribution) é frequentemente avaliada em benchmarks multi-domínio (como CIFAR-10/100 ou ImageNet), onde os dados de treinamento possuem diversidade visual rica. No entanto, na prática, muitos sistemas implantados são treinados em dados de domínio único (ex: imagens de histopatologia, satélites, inspeção industrial), onde todas as classes compartilham o mesmo contexto visual, textura e estilo de aquisição.

Os autores identificam que, nesse regime, os métodos padrão de detecção OOD (baseados em distância ou logits) falham drasticamente. Eles atribuem essa falha a um novo fenômeno geométrico chamado Colapso de Sensibilidade ao Domínio (DSC - Domain-Sensitivity Collapse).

• Mecanismo do DSC: O treinamento supervisionado em domínio único comprime as representações de características (features) em um subespaço de baixo posto alinhado às classes (class subspace).
• Consequência: As direções ortogonais a esse subespaço, que carregariam sinais de mudança de domínio (domínio vs. domínio), são suprimidas. Como consequência, tanto as métricas baseadas em distância (ex: Mahalanobis, kNN) quanto as baseadas em logits (ex: MSP, Energy) tornam-se insensíveis a deslocamentos de domínio, pois as dimensões que deveriam expressar essa discrepância foram "colapsadas" para zero.

2. Metodologia: Treinamento Guiado por Professor (TGT)

Para combater o DSC sem adicionar custo de inferência, os autores propõem o Treinamento Guiado por Professor (TGT - Teacher-Guided Training).

• Conceito Central: O método utiliza um modelo "professor" congelado e pré-treinado em múltiplos domínios (especificamente o DINOv2, um modelo de visão auto-supervisionado) para transferir sensibilidade ao domínio para um modelo "aluno" treinado em domínio único.
• Resíduo Suprimido por Classe: O insight chave é que o professor DINOv2 é excelente em detectar OOD de outros domínios, mas falha em distinguir classes dentro do mesmo domínio (falta de estrutura discriminativa de classe). O TGT extrai o resíduo do professor suprimido por classe:
  1. Calcula-se a média de características do professor para cada classe.
  2. Projeta-se as características do professor para remover as direções discriminativas entre classes (subespaço de classe).
  3. O resultado é um vetor residual que captura variações intra-classe, estilo, textura e sinais de domínio.
• Função de Perda Auxiliar: Durante o treinamento do aluno, além da perda de entropia cruzada padrão (para classificação), adiciona-se uma perda auxiliar que força as características do aluno a se alinharem com esse resíduo do professor (usando uma perda de coseno).
• Vantagem de Inferência: Após o treinamento, o professor e a cabeça auxiliar são descartados. A inferência utiliza apenas o modelo aluno, sem sobrecarga computacional adicional.

3. Contribuições Principais

1. Identificação e Formalização do DSC: Os autores formalizam o "Colapso de Sensibilidade ao Domínio" como a causa raiz da falha de detectores OOD em cenários de domínio único. Eles provam teoricamente que, sob DSC, a separação entre ID (In-Distribution) e OOD em métricas de distância é limitada pela energia residual no subespaço nulo.
2. Proposta do TGT: Um novo objetivo de treinamento que restaura a geometria sensível ao domínio através de destilação de resíduos, sem exigir dados OOD durante o treinamento e sem custo de inferência.
3. Validação Empírica Abrangente: O método foi testado em 8 benchmarks de domínio único (abrangendo medicina, satélite, moda, rochas, etc.), demonstrando melhorias consistentes tanto para OOD dentro do domínio (novas classes) quanto fora do domínio (novos domínios).

4. Resultados Experimentais

Os experimentos foram conduzidos em ResNet-50 e DINOv2, comparando o TGT contra baselines de Entropia Cruzada (CE) e aprendizado contrastivo supervisionado (SupCon).

• Redução drástica no FPR@95: Para detectores baseados em distância (MDS, ViM, kNN), o TGT reduziu a taxa de falsos positivos (FPR@95) em margens de dois dígitos em média:
  • MDS: Melhoria de 11,61 pp (pontos percentuais).
  • ViM: Melhoria de 10,78 pp.
  • kNN: Melhoria de 12,87 pp.
• Desempenho em Domínio Único vs. Múltiplo: O TGT conseguiu melhorar a detecção OOD tanto para dados de domínio diferente (ex: imagem de satélite para um modelo de tecido) quanto para dados do mesmo domínio (novas classes de tecido), algo que o uso direto do professor (DINOv2) não consegue fazer (o professor falha em distinguir classes do mesmo domínio).
• Preservação da Precisão: O método manteve ou melhorou ligeiramente a precisão de classificação in-distribution, provando que a injeção de estrutura de domínio não degrada a capacidade discriminativa das classes.
• Análise Geométrica: As auditorias geométricas confirmaram que o TGT restaura o rank efetivo (effective rank) das características. Enquanto o treinamento CE colapsa o rank para próximo do número de classes (ex: ~5-10 para 2048 dimensões), o TGT aumenta significativamente esse rank (ex: de 5.2 para 12.1 no dataset Colon), indicando a recuperação de direções de variância relevantes para o domínio.

5. Significado e Conclusão

Este trabalho demonstra que a detecção confiável de OOD em sistemas de domínio único não é apenas um problema de escolha de regra de pontuação (scoring rule), mas fundamentalmente um problema de aprendizado de representação.

O DSC é uma falha inerente ao treinamento supervisionado em contextos homogêneos. O TGT oferece uma solução prática e eficiente, utilizando a riqueza geométrica de modelos fundacionais (foundation models) congelados para "enriquecer" modelos de domínio único com sensibilidade a mudanças de domínio, permitindo que detectores simples baseados em distância funcionem de forma robusta em cenários do mundo real onde a diversidade de dados é limitada.