🤖 machine learning

The Importance of Encoder Choice:A Tabular-Image Study

Este estudo avalia modelos tabulares de última geração como codificadores em aprendizado multimodal imagem-tabela pela primeira vez, abordando o desafio de aplicar métodos de aprendizado em contexto sem acesso aos rótulos de teste para demonstrar a importância crítica da seleção do codificador.

Autores originais: Ilia Koloiarov, Diego Coello de Portugal Mecke, Vijaya Krishna Yalavarthi, Tom Hanika, Lars Schmidt-Thieme

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ilia Koloiarov, Diego Coello de Portugal Mecke, Vijaya Krishna Yalavarthi, Tom Hanika, Lars Schmidt-Thieme

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando construir o "robô detetive" definitivo para resolver mistérios. Este robô precisa analisar dois tipos de pistas: uma foto da cena e uma planilha de fatos (como temperatura, hora ou nomes). Para tornar este robô inteligente, você precisa de um "tradutor" especial para cada tipo de pista para transformá-los em uma linguagem que o robô entenda.

Para as fotos, temos tradutores incríveis (como os famosos modelos ViT). Mas para as planilhas? Por anos, cientistas usaram um tradutor muito simples e básico chamado MLP (uma rede neural simples e rasa). É como usar uma bicicleta para entregar uma pizza quando você tem uma frota de carros esportivos à disposição. O artigo argumenta que isso é um erro enorme porque a bicicleta pode ser o motivo de a pizza chegar fria, e não a rota de entrega em si.

A Grande Descoberta: O "Tradutor" Importa Mais do que Você Pensa

Os autores deste estudo decidiram testar essa teoria. Eles trocaram a bicicleta sem graça (o MLP comum) por alguns dos "carros esportivos" mais avançados e de última geração disponíveis para planilhas. Esses novos tradutores são chamados de Modelos de Fundação Tabular de Aprendizado em Contexto (um nome complicado, então vamos chamá-los de Super-Tradutores de ICL).

Aqui está a reviravolta que eles encontraram: a classificação de qual robô detetive é o "melhor" muda completamente dependendo de qual tradutor você usa.

Se você testar seu robô com um tradutor fraco, um método de detetive chique e complexo pode parecer um gênio. Mas se você trocar por um tradutor forte, esse mesmo método chique pode parecer mediano, enquanto um método simples e entediante de repente parece um super-herói. O artigo sugere que, por anos, podemos ter elogiado os métodos errados simplesmente porque estávamos usando tradutores ruins.

O Problema do "Fantasma na Máquina"

Houve um grande obstáculo com esses novos Super-Tradutores de ICL. Esses modelos funcionam olhando para um "contexto" (uma lista de exemplos resolvidos com respostas) para adivinhar a resposta para uma nova "consulta" (um mistério sem resposta).

Os autores descobriram um erro assustador: o modelo vê a mesma informação de forma diferente dependendo de se ela está no "contexto" ou na "consulta".

Imagine que você está descrevendo seu filme favorito para um amigo.

Modo Contexto: Você está descrevendo o filme depois de já ter visto o final. Você conhece as reviravoltas do enredo.
Modo Consulta: Você está descrevendo o filme antes de ter visto o final. Você está tentando adivinhar o que acontece a seguir.

Mesmo sendo o mesmo filme, sua descrição (o "embedding") é totalmente diferente porque seu estado de conhecimento é diferente. O artigo descobriu que, quando esses modelos colocam os dados de treinamento no papel de "contexto" e os dados de teste no papel de "consulta", eles acabam em bairros diferentes na memória do computador. É como tentar combinar um mapa de Nova York com um mapa de Londres porque o modelo ficou confuso sobre qual cidade estava olhando.

O que o artigo descarta:
Os autores testaram explicitamente e descartaram a ideia de que essa diferença era apenas porque os dados eram diferentes. Eles mostraram que, mesmo quando o exato mesmo ponto de dado era usado em ambos os papéis, o modelo ainda os tratava de forma diferente. É uma falha estrutural na forma como esses modelos funcionam, não um problema de dados.

A Armadilha "Vanilla"

Devido a esse erro, os autores testaram três maneiras de fornecer dados a esses modelos:

Vanilla (A maneira "Ingênua"): Apenas alimentar os dados de treinamento como contexto e os dados de teste como consultas.
LOFO (Leave-One-Fold-Out): Uma forma complexa de embaralhar os dados para que tudo tenha sua vez de ser uma consulta.
NP (Não Particionado): Um truque inteligente onde o modelo vê os dados de treinamento como tanto contexto quanto consulta ao mesmo tempo.

O Veredito: A maneira "Vanilla" é um desastre. O artigo mostra que usar o método ingênuo consistentemente faz o robô ter um desempenho pior. É como tentar dirigir um carro esportivo com o freio de mão puxado. Os autores sugerem fortemente evitar este método inteiramente. Em vez disso, o método NP (Não particionado) é a "chave" recomendada para desbloquear todo o poder desses modelos.

Precisamos de Fusão Chique?

Por muito tempo, pesquisadores pensaram que precisariam de sistemas incrivelmente complexos e caros para combinar fotos e planilhas. Esses sistemas geralmente têm milhões de parâmetros e exigem pré-treinamento especial.

O artigo encontrou algo surpreendente: em conjuntos de dados onde tanto fotos quanto planilhas são úteis, uma simples "fusão bilinear" (um truque matemático básico) combinada com um tradutor forte tem o mesmo desempenho que os sistemas supercomplexos.

Na verdade, os sistemas complexos e chiques usados possuem, em média, 13,2 vezes mais parâmetros do que a linha de base simples. Os autores sugerem que, se você usar um tradutor forte o suficiente, não precisa dos métodos de fusão super-complexos e superdimensionados. A abordagem simples é tão boa quanto e muito mais barata.

O Aviso de "Uma Única Modalidade"

O artigo também alerta sobre conjuntos de dados onde um tipo de pista é inútil.

Se você tem um conjunto de dados onde a planilha é apenas ruído (como o conjunto de dados CCD), adicionar a planilha à foto na verdade prejudica o desempenho do robô.
Se a foto é inútil (como no Petfinder, onde a planilha é o elemento principal), adicionar a foto prejudica o desempenho.

Os autores descobriram que o módulo de fusão não aprende magicamente a "ignorar" a pista inútil. Em vez disso, ele fica confuso e performa pior do que se tivesse usado apenas a pista boa sozinha. Isso sugere que combinar dados cegamente nem sempre é a resposta; às vezes, você só precisa escolher a pista certa.

O Quão Certos Estamos?

Os autores não apenas adivinharam; eles realizaram experimentos extensos em sete conjuntos de dados do mundo real (variando de imagens médicas de pele a leilões de arte e anúncios de carros).

Eles mediram o desempenho usando pontuações F1 (uma forma padrão de medir a precisidade).
Usaram ferramentas estatísticas (como regressão OLS e correlação de Spearman) para provar que o "ganho" ao combinar dados diminui à medida que o tradutor melhora.
Confirmaram o "desvio contexto-consulta" usando MMD (Discrepância de Média Máxima), uma forma matemática de medir quão distantes estão dois grupos de dados.

O artigo conclui que a escolha do tradutor é um "confundimento crítico". Isso significa que, se você não escolher o tradutor certo, todo o seu experimento pode ser enganoso. As descobertas baseiam-se em dados medidos, não apenas em simulações, e os autores estão confiantes de que o método de extração "Vanilla" deve ser evitado e que o método "NP" é o caminho a seguir para a maioria dos casos.

Portanto, da próxima vez que você construir um robô detetive, lembre-se: Não foque apenas no detetive; certifique-se de que o tradutor dele não está usando uma venda nos olhos.

Resumo Técnico: A Importância da Escolha do Codificador: Um Estudo de Imagem-Tabular

Declaração do Problema

O aprendizado multimodal normalmente requer um codificador dedicado para cada modalidade. Embora os codificadores de imagem e texto tenham evoluído significamente, a modalidade tabular em configurações multimodais tem dependido amplamente de Perceptrons de Camadas Múltiplas (MLPs) simples e rasos. Os autores argumentam que essa dependência persiste porque o domínio tabular historicamente careceu de candidatos fortes de aprendizado profundo; Árvores de Decisão Impulsionadas por Gradiente (GBDTs) dominaram os benchmarks tabulares, mas não produzem representações contínuas compatíveis com pipelines multimodais.

Avanços recentes em Modelos de Fundação Tabulares de Aprendizado em Contexto (ICL TFMs) oferecem codificadores tabulares robustos do tipo "plug-in" sem necessidade de retreinamento específico para a tarefa. No entanto, um obstáculo crítico surge ao usar esses modelos: o deslocamento de representação contexto-consulta (context-query representation shift). Em ICL TFMs, as instâncias de treinamento são processadas como "contexto" (com rótulos visíveis), enquanto as instâncias de teste são processadas como "consultas" (sem rótulos). Trabalhos anteriores (Ye et al., 2025) observaram que isso faz com que os embeddings da mesma instância ocupem regiões diferentes no espaço latente dependendo de seu papel, violando a suposição de que são independentes e identicamente distribuídos (i.i.d.), necessária para modelos downstream. Era desconhecido se esse deslocamento afetava outros modelos ICL ou como impactava o desempenho de fusão multimodal.

Metodologia

O estudo conduz uma avaliação sistemática de codificadores tabulares em um cenário de classificação tabular-imagem.

Configuração Experimental:

Codificadores: Os autores avaliam três classes de codificadores tabulares:
- ICL TFMs: TabPFNv2, TabDPT e TabICLv2.
- Modelos de Fundação Não-ICL: TARTE.
- Baselines: TabM (pré-treinado do zero), TabM-SSL (auto-supervisionado) e TabVec (pré-processamento não aprendido).
Esquemas de Extração de Características: Para modelos ICL, três métodos de extração são testados para abordar o deslocamento contexto-consulta:
1. Vanilla ( $\star$ ): Instâncias de treinamento codificadas como contexto.
2. Leave-one-fold-out ( $\dagger$ ): Instâncias de treinamento codificadas como consultas contra o complemento da dobra (fold).
3. Não-particionado ( $\wr$ ): Todas as instâncias de treinamento passadas simultaneamente como contexto e consultas, com representações extraídas no papel de consulta.
Fusão Multimodal: Um módulo de fusão bilinear simples é usado como o principal método multimodal, comparado contra um método de estado da arte cuidadosamente projetado (TIP) e baselines unimodais.
Datasets: Sete datasets de imagem-tabular do mundo real abrangendo imagens médicas, arte, veículos e animais de estimação (ex: DVM, HAM10000, WikiArt, Petfinder).
Métricas:
- Rank Percentil Relativo (RPR): Mede o desempenho relativo a um baseline de apenas imagem.
- Desvio de Distribuição Excessivo (EDS): Quantifica a lacuna de distribuição entre os embeddings de treinamento e teste usando a Divergência de Média Máxima (MMD), subtraindo a variação intrínseca dos dados.

Contribuições Principais e Descobertas

1. A Escolha do Codificador Determina os Rankings Multimodais

Os rankings de desempenho multimodal não são estáveis entre diferentes codificadores tabulares. Um método multimodal cuidadosamente projetado (TIP) pode superar um baseline simples com um codificador fraco, mas pode ser igualado ou superado pelo mesmo baseline simples quando pareado com um codificador forte. Conclusões tiradas de um único codificador não se generalizam.

2. A Fusão Pode Degradar o Desempenho em Datasets Dominados por uma Modalidade

Em datasets onde uma modalidade carrega a maior parte do sinal preditivo (ex: dominados por imagem ou dominados por tabela), combinar modalidades pode degradar o desempenho abaixo do baseline unimodal. Isso sugere que módulos de fusão não aprendem automaticamente a suprimir modalidades não informativas.

3. A Qualidade do Codificador Infla a Vantagem Observada na Fusão

Em datasets provavelmente multimodais, o aumento de desempenho observado via fusão é inversamente relacionado à qualidade do codificador. À medida que o codificador tabular melhora, o ganho marginal da fusão diminui. Isso implica que codificadores fracos podem inflar artificialmente o benefício percebido da fusão multimodal ao compensar representações unimodais pobres.

4. Baselines Simples Igualam Métodos Complexos com Codificadores Fortes

Em datasets provavelmente multimodais, um baseline de fusão bilinear simples pareado com um codificador forte (ex: TabPFN com extração Não-particionada) apresenta desempenho equivalente ao TIP, um método complexo que exige 13,2 vezes mais parâmetros e um estágio de pré-treinamento dedicado.

5. O Deslocamento Contexto-Consulta é Universal aos ICL TFMs

O deslocamento de representação não é exclusivo do TabPFNv2; ele também é observado no TabDPT e no TabICLv2.

A extração Vanilla ( $\star$ ) degrada consistentemente o desempenho em todos os três modelos ICL e deve ser evitada.
A extração Não-particionada ( $\wr$ ) é o esquema recomendado para a maioria dos casos, mitigando efetivamente o deslocamento e superando o método Leave-one-fold-out ( $\dagger$ ).

Significância

O artigo argumenta que a escolha do codificador tabular é um fator de confusão crítico e frequentemente negligenciado no aprendizado multimodal. O estudo destaca que:

Estabilidade de Benchmarking: Conclusões sobre a eficácia da fusão multimodal são instáveis se o codificador tabular não for cuidadosamente selecionado ou se o deslocamento de representação do codificador for ignorado.
Eficiência Prática: Codificadores tabulares fortes e pré-treinados podem permitir que arquiteturas de fusão simples igualem o desempenho de pipelines complexos e projetados, reduzindo a necessidade de contagens massivas de parâmetros e estágios de pré-treinamento.
Correção Metodológica: O estudo fornece evidência empírica de que o método de extração "Vanilla" para modelos ICL é prejudicial e estabelece a extração Não-particionada como uma alternativa robusta para integração multimodal.

Os autores concluem que a pesquisa multimodal futura deve considerar a qualidade do codificador e os deslocamentos de representação para avaliar com precisão o verdadeiro valor da combinação de modalidades.