Resumo Técnico: Desbloqueando a Generalização Composicional no Aprendizado Contínuo com Poucos Exemplos

Declaração do Problema

O artigo aborda o desafio do Aprendizado Contínuo com Poucos Exemplos (CFSL), onde um modelo deve adquirir sequencialmente novos conceitos a partir de exemplos limitados sem degradar o conhecimento previamente aprendido. Um gargalo crítico neste regime é a generalização composicional: a capacidade de reconhecer conceitos novos formados por combinações não vistas de partes conhecidas (por exemplo, uma "camisa verde" quando apenas "camisas vermelhas" e "grama verde" foram vistas).

As abordagens existentes falham em alcançar isso devido a duas falhas estruturais interligadas:

1. Poluição de Representação: Mecanismos padrão de atenção por slots frequentemente dependem de estados recorrentes de GRU para atualizar representações de slots. Esses estados codificam dinâmicas de roteamento (como suprimir slots concorrentes) em vez de conteúdo visual puro, corrompendo a geometria semântica fornecida pelo backbone.
2. A Armadilha Composicional: O treinamento com objetivos de correspondência em nível de parte (por exemplo, distância de Chamfer) durante a fase de aprendizado força os slots a se especializarem excessivamente em padrões locais específicos de conceitos vistos. Isso cria direções de gradiente específicas de slot que impedem o modelo de generalizar para conceitos verdadeiramente novos (combinações não vistas) no momento da inferência.

Metodologia: O Framework COMPOSE

Os autores propõem o COMPOSE, um framework de duas fases que desacopla estritamente o aprendizado de representação da inferência composicional. A ideia central é que o treinamento e a inferência exigem objetivos fundamentalmente diferentes.

1. Fundação Estrutural: Geometria Auto-supervisionada

O framework depende da geometria semântica em nível de patch inerente a Vision Transformers (ViTs) auto-supervisionados como o DINOv2. Diferentemente de ViTs supervisionados, que aprendem discriminação global de classes, modelos auto-supervisionados aprendem consistência local onde patches do mesmo objeto naturalmente se agrupam. Essa geometria é um pré-requisito estrito para uma decomposição de objetos confiável.

2. Fase I: Treinamento Holístico (Aprendizado de Representação)

• Extração de Slots: Em vez de usar o estado oculto recorrente do GRU ($s_k$) como representação do slot, o COMPOSE calcula um agregado ponderado por atenção ($\tilde{\phi}_k$) direto a partir das características de patch do backbone congelado. Isso contorna o gargalo recorrente, preservando a geometria semântica imaculada do backbone e melhorando significativamente a pureza do slot.
• Objetivo: O modelo é treinado usando uma perda de entropia cruzada de protótipo holístico. Os slots são agregados via um roteador MLP leve e treinável para formar um único embedding em nível de imagem, que é otimizado para corresponder ao protótipo da classe.
• Restrição: Uma penalidade de correlação cruzada é aplicada às projeções brutas dos slots para evitar o colapso de slots (redundância) sem impor as restrições de variância conflitantes encontradas em outros métodos de regularização (como VICReg).
• Distinção Crucial: Nenhuma correspondência em nível de parte (por exemplo, distância de Chamfer) é realizada durante o treinamento. Isso previne a "armadilha composicional" onde gradientes forçam os slots a se especializarem em partes locais específicas.

3. Fase II: Inferência Composicional (Correspondência de Conceitos Novos)

• Componentes Congelados: Todos os pesos do backbone e do roteador são congelados. Nenhum gradiente é computado.
• Estratégia de Correspondência: Cenas novas são correspondidas a classes de suporte usando distância de Chamfer bidirecional nas projeções centradas por slot.
• Pontuação Mista: A pontuação final de previsão é uma mistura ponderada da pontuação holística (dos embeddings da Fase I) e da pontuação composicional (da correspondência em nível de parte). Isso permite que o modelo aproveite a identidade de classe robusta aprendida durante o treinamento enquanto utiliza a estrutura composicional para o reconhecimento de conceitos novos.

Contribuições Principais

1. Repensando Representações de Slots: O artigo identifica a geometria de patch auto-supervisionada como um pré-requisito para a decomposição centrada em objetos. Substitui estados recorrentes de GRU por agregados ponderados por atenção, demonstrando que essa mudança melhora significativamente a pureza do slot e preserva a estrutura geométrica necessária para transferência fora da distribuição.
2. Diagnóstico e Escape da Armadilha Composicional: Os autores provam analiticamente que objetivos de correspondência em nível de parte induzem direções de gradiente específicas de slot que levam à superespecialização. Eles propõem uma separação de fase estrita: treinamento holístico para preservar geometrias de nível de objeto generalizáveis, seguido por inferência composicional para corresponder cenas novas.
3. Transferência de Conceitos Novos Impulsiona Robustez Contínua: O framework alcança desempenho de última geração na divisão de conceitos não vistos (noc) do benchmark CFST, alcançando 94,14% de precisão no CGQA. Essa robustez a conceitos novos traduz-se em esquecimento catastrófico mínimo em benchmarks padrão de aprendizado contínuo (MiniImageNet, ImageNet-R, CUB200, CIFAR100).

Resultados Experimentais

• Benchmark CFST (CGQA): O COMPOSE alcança 94,14% na divisão noc (conceitos não vistos), superando bases fortes como CoFiMA (91,97%) e RanPAC (88,60%). Também alcança uma média harmônica ($H_a$) alta de 92,92%.
• Estudos de Ablação:
  • Remover o objetivo de treinamento holístico (usando Chamfer durante o treinamento, "COMPOSE-CT") reduz o desempenho noc em aproximadamente 2,5 pontos percentuais, confirmando a "armadilha composicional".
  • Substituir o agregado ponderado por atenção pelo estado padrão do GRU reduz o noc em aproximadamente 3,6 pontos percentuais, validando a importância de preservar a geometria do backbone.
  • Remover a penalidade de correlação cruzada causa uma queda significativa (~5,5 pontos percentuais), destacando seu papel na prevenção da redundância de slots.
• Benchmarks de Aprendizado Contínuo: Em tarefas padrão de FSCIL e CIL, o COMPOSE reduz significativamente o esquecimento (por exemplo, reduzindo o FF de 27,91% para 3,54% no CIFAR-100 em comparação ao Comp-FSCIL) enquanto mantém uma precisão média competitiva.
• Eficiência: O método requer apenas ~5 minutos de treinamento por conjunto de dados (treinando um roteador leve em um backbone congelado), em comparação com ~4 horas para métodos de ajuste fino completo de backbone como o CoFiMA.

Significado e Alegações

O artigo afirma que a falha de aprendizes contínuos anteriores em generalizar para conceitos novos não é meramente uma questão de dados ou capacidade, mas um conflito estrutural entre como as representações são extraídas e como são otimizadas.

Ao separar estritamente a fase de treinamento (focada na identidade de classe holística para preservar geometria generalizável) da fase de inferência (focada na correspondência composicional), o COMPOSE demonstra que modelos podem aprender representações generalizadas o suficiente para reconhecer conceitos não vistos sem esquecer. Os autores enfatizam que essa abordagem depende da qualidade da geometria subjacente do backbone auto-supervisionado; quando essa geometria é fraca (por exemplo, em ViTs supervisionados), a decomposição de slots degrada, limitando a transferência composicional.

O trabalho sugere que a robustez a conceitos novos é a chave para minimizar o esquecimento catastrófico no aprendizado contínuo, pois representações que são generalizadas o suficiente para lidar com composições não vistas são inerentemente menos propensas à superespecialização e deriva.