Resumo Técnico: CoMET - Classificação Multimodal Modular sem Ajuste Fino

Declaração do Problema

Tarefas de classificação multimodal tipicamente exigem pipelines complexos de treinamento end-to-end que envolvem o ajuste fino de grandes modelos fundacionais em conjuntos de dados específicos. Essa abordagem é computacionalmente cara, consome muito tempo e frequentemente necessita de ajuste de hiperparâmetros específico para o conjunto de dados. Embora os Modelos Fundacionais Tabulares (TFMs) tenham demonstrado recentemente a capacidade de realizar tarefas preditivas robustas via aprendizado em contexto sem ajuste fino, sua aplicação tem sido amplamente restrita a dados tabulares ou exigido ajuste fino quando aplicados a cenários multimodais. O desafio central abordado por este artigo é como aproveitar a natureza "pronta para uso" dos TFMs para classificação multimodal (combinando texto, imagens e dados tabulares) sem qualquer treinamento específico da tarefa ou retropropagação, ao mesmo tempo em que se supera a incompatibilidade entre codificadores de modalidade padrão (que frequentemente produzem tokens de tamanho fixo como CLS) e os requisitos de entrada do TFM.

Metodologia: CoMET

Os autores propõem o CoMET (Composição de Codificadores de Modalidade com Modelos Fundacionais Tabulares), um pipeline modular que compõe backbones pré-treinados congelados com um TFM. O método opera em quatro etapas distintas:

1. Extração de Características: Cada modalidade não tabular (por exemplo, imagem, texto) é passada por um backbone pré-treinado congelado (por exemplo, DINOv3 para imagens, ELECTRA para texto) para extrair incorporações em nível de token por amostra.
2. Agrupamento (Pooling): As incorporações de tokens são agregadas em representações vetoriais de tamanho fixo. O artigo introduz o PALPooling (Agrupamento de Rótulo de Atenção Pseudo) como uma alternativa leve e adaptativa aos tokens CLS padrão ou ao agrupamento por média.
   • Mecanismo PALPooling: Em vez de retropropagação, o PALPooling ajusta um vetor de pontuação linear via regressão ridge. Ele utiliza "Rótulos de Atenção Pseudo" (PALs) derivados das próprias distribuições de rótulos previstas pelo TFM. Especificamente, ele divide os dados de treinamento em um conjunto de suporte e um conjunto de consulta. O TFM faz previsões no conjunto de consulta, e uma função de pontuação (baseada na Divergência de Jensen-Shannon entre previsões e frequências de rótulos anteriores) gera alvos para um modelo de regressão ridge. Este modelo aprende a ponderar tokens para maximizar o deslocamento da distribuição anterior, identificando efetivamente tokens informativos sem descida de gradiente através do TFM.
3. Redução de Dimensionalidade (PCA): As incorporações agrupadas são comprimidas usando Análise de Componentes Principais (PCA). Os autores demonstram que a PCA não é meramente uma ferramenta de compressão, mas um adaptador crucial que alinha a geometria das incorporações do codificador congelado com o prior de pré-treinamento do TFM (que é sintético e de alto posto).
4. Previsão: As características multimodais comprimidas e concatenadas (tabular + não tabular projetada) são alimentadas no TFM (especificamente TabICLv2) juntamente com um conjunto de suporte de exemplos rotulados. O TFM realiza aprendizado em contexto para prever a distribuição de rótulos para a amostra de consulta.

Contribuições Principais

1. PCA como Adaptador Suficiente: O artigo demonstra que aplicar PCA a incorporações de backbones congelados é suficiente para tornar os TFMs classificadores multimodais competitivos. Essa projeção melhora significativamente o desempenho ao aumentar o posto efetivo das incorporações, alinhando-as com a distribuição de pré-treinamento sintética do TFM e equilibrando sinais entre características tabulares e não tabulares.
2. Estrutura CoMET: Um framework modular e fácil de implementar que alcança resultados state-of-the-art (SOTA) em diversos benchmarks multimodais sem qualquer ajuste fino. Componentes (codificadores, TFMs) podem ser substituídos independentemente.
3. PALPooling: Um método de agrupamento adaptativo inovador e sem treinamento. Ele evita a necessidade de retropropagação através do TFM usando pseudo-rótulos derivados das próprias saídas do modelo. Consistentemente supera tokens CLS e agrupamento por média, particularmente em cenários onde tokens CLS falham em capturar características relevantes para a tarefa (por exemplo, imagens com múltiplos objetos).
4. Classificação Hierárquica Escalável: Os autores mostram a aplicação do CoMET à classificação hierárquica (H-CoMET). Ao decompor grandes problemas de classificação (por exemplo, >500k amostras, >2.000 classes) em subtarefas menores dentro de uma estrutura de árvore, o método permite inferência rápida e escalável sem treinar modelos separados para cada subtarefa.

Resultados

O artigo avalia o CoMET em benchmarks unimodais e multimodais:

• Desempenho Unimodal: Em conjuntos de dados de imagem e texto, o CoMET com PCA e PALPooling iguala ou supera o desempenho de sondagem linear e perceptrons multicamada (MLPs), frequentemente superando-os significativamente (por exemplo, +3,4% a +6,2% em subconjuntos do ImageNet).
• Benchmarks Multimodais: O CoMET alcança resultados competitivos ou SOTA em conjuntos de dados que combinam texto, imagens e dados tabulares (por exemplo, Jigsaw Toxicity, PetFinder, MM-IMDb, Airbnb). Ele supera abordagens multimodais TFM anteriores como MMPFN, que exigiam ajuste fino com projetores específicos de modalidade.
• Escala Hierárquica: Em conjuntos de dados hierárquicos em grande escala como iNaturalist (2.896 classes) e Amazon MM, o H-CoMET alcança alta precisão (82,50% no iNaturalist) com tempos de inferência inferiores a 6 minutos, superando significativamente classificadores planos e igualando ou superando modelos de texto hierárquicos SOTA.
• Eficiência: O método não requer tempo de treinamento para o TFM ou codificadores. O ajuste do PALPooling leva segundos (por exemplo, 16s a 54s para conjuntos de dados de imagem).

Significado e Alegações

O artigo argumenta que a composição de modelos fundacionais oferece uma solução simples, poderosa e "pronta para uso" para aprendizado multimodal. Seu significado principal reside em desafiar a necessidade de pipelines complexos de treinamento end-to-end para novos problemas.

• Modularidade: A abordagem permite a substituição independente de backbones ou TFMs à medida que melhoram, herdando progressos futuros sem retreinamento.
• Eficiência sem Treinamento: Demonstra que forte desempenho preditivo pode ser alcançado amortizando inferência bayesiana via aprendizado em contexto, mesmo para dados não tabulares, desde que as incorporações sejam adequadamente adaptadas (via PCA) e agrupadas (via PALPooling).
• Escalabilidade: O método permite o manuseio de conjuntos de dados massivos e espaços de classes finas (milhares de classes) que frequentemente são intratáveis para abordagens tradicionais de ajuste fino devido a restrições computacionais.

Os autores mantêm uma postura modesta, reconhecendo que, embora a PCA seja um adaptador simples, métodos de redução de dimensionalidade mais sofisticados informados pelo TFM poderiam gerar ganhos adicionais. Eles também observam que o trabalho atual foca nas modalidades de texto e imagem, mas o modelo é generalizável para outros domínios com codificadores prontos para uso (por exemplo, áudio, vídeo).