Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale

Título: De Volta à Caverna de Platão: Examinando a Convergência Representacional Cross-Modal em Escala

1. Problema e Motivação

O artigo questiona a Hipótese da Representação Platônica (proposta por Huh et al., 2024), que sugere que redes neurais treinadas em diferentes modalidades (ex: texto e imagem) eventualmente convergem para a mesma representação da realidade à medida que crescem em tamanho e volume de dados.

• Contexto: Se essa hipótese fosse verdadeira, implicaria que a escolha da modalidade de treinamento (apenas texto vs. multimodal) seria irrelevante, pois todos os modelos aprenderiam a mesma "verdade" subjacente.
• O Conflito: O trabalho anterior de Huh et al. encontrou evidências de alinhamento usando métricas de k-Nearest Neighbors (kNN) mútuos em conjuntos de dados pequenos e esparsos. No entanto, os autores deste artigo argumentam que essas evidências são frágeis e dependem criticamente de regimes de avaliação restritos (pequena escala e correspondência um-para-um), que não refletem a complexidade dos dados multimodais do mundo real (grande escala, densos e muitos-para-muitos).

2. Metodologia

Os autores realizaram uma reavaliação rigorosa da hipótese alterando as variáveis fundamentais do protocolo experimental original:

• Métrica de Avaliação: Utilizaram a métrica de k-NN Mútuo (Mutual kNN), que mede a sobreposição dos vizinhos mais próximos entre dois espaços de embeddings (imagem e texto). Um escore de 1 indica que os vizinhos são idênticos; 0 indica nenhuma sobreposição.
• Escalonamento de Dados (Densidade):
  • Compararam galerias de recuperação de 1.024 amostras (WIT-1024, usado no trabalho original) contra galerias de 1 milhão (WIT-1M) e 15 milhões (LAION-15M) de amostras.
  • O objetivo era testar se o alinhamento persiste quando a "galeria" se torna densa o suficiente para exigir distinções semânticas finas, em vez de apenas correspondências grosseiras.
• Correspondência Não-Bijectiva (Muitos-para-Muitos):
  • Testaram cenários onde uma imagem pode ter múltiplas descrições válidas e um texto pode descrever múltiplas imagens visualmente distintas.
  • Utilizaram o dataset CycleReward (com pares sintéticos) e subconjuntos do WIT (com duplicatas naturais) para relaxar a suposição de correspondência um-para-um.
• Análise de Tendência Temporal:
  • Avaliaram 55 Grandes Modelos de Linguagem (LLMs), incluindo modelos recentes (pós-2024), para verificar se a tendência observada anteriormente (modelos de linguagem mais fortes se alinham melhor com visão) ainda se sustenta.
• Decomposição no ImageNet:
  • Usaram o ImageNet para separar a qualidade da representação unimodal (capacidade de recuperar a classe correta) da concordância cross-modal (capacidade de concordar no mesmo exemplo específico).

3. Principais Contribuições e Resultados

A. O Alinhamento Degrada com a Escala

• Queda Drástica: Ao aumentar a galeria de 1.024 para 1 milhão ou 15 milhões de amostras, o escore de alinhamento kNN mútuo cai drasticamente (de ~0,13 para ~0,001 em alguns casos).
• Interpretação: Em galerias pequenas, modelos diferentes podem "concordar" acidentalmente porque não há alternativas melhores disponíveis. Em galerias densas, ambos os modelos encontram vizinhos semanticamente mais próximos, mas esses vizinhos são diferentes. Isso revela que as estruturas internas são organizadas de forma distinta.

B. Concordância Grosseira vs. Estrutura Fina

• Experimento ImageNet: Os modelos individuais (DINOv2 para visão e OpenLlama para texto) melhoram sua precisão na recuperação de vizinhos da mesma classe à medida que a galeria cresce.
• Falha de Alinhamento: No entanto, a concordância estrita sobre o mesmo exemplo específico (mesmo instância dentro da classe) permanece plana e baixa (~11%).
• Conclusão: Os modelos aprendem representações ricas e semanticamente significativas, mas organizam a estrutura intra-classe de maneira fundamentalmente diferente. O baixo alinhamento não indica representações ruins, mas sim uma organização diferente da informação.

C. O Impacto da Correspondência Muitos-para-Muitos

• Quando a suposição bijectiva (um-para-um) é relaxada, o alinhamento kNN mútuo cai consistentemente.
• A métrica kNN não consegue distinguir entre "desalinhamento real" e "correspondência válida mas diferente" em cenários onde múltiplas respostas são corretas (ex: uma foto de um carro pode ser descrita por inúmeras legendas diferentes, e o modelo de texto pode escolher uma que o modelo de visão não considera a "mais próxima").

D. A Tendência de Alinhamento vs. Performance Não se Sustenta

• O trabalho original de Huh et al. sugeriu que LLMs mais capazes se alinham melhor com a visão.
• Resultado Contrário: Ao testar modelos de linguagem mais recentes e avançados (incluindo modelos de raciocínio como o DeepSeek-R1 e Llama-3), essa tendência desaparece. Modelos mais fortes não mostram maior alinhamento com os recursos visuais do DINOv2; em alguns casos, o alinhamento satura ou até diminui.

4. Significado e Conclusão

O artigo refuta a ideia de que existe uma única "Representação Platônica" da realidade para a qual todos os modelos convergem. Em vez disso, os autores propõem uma visão baseada no conceito de Umwelten (de Jakob von Uexküll):

• Conclusão Principal: Modelos treinados em diferentes modalidades habitam seus próprios "mundos perceptivos" (Umwelten). Cada modelo constrói sua própria estrutura representacional, determinada pela sua modalidade e dados de treinamento.
• Implicação: O alinhamento entre modalidades é local e parcial, não global e unificado. A baixa concordância em métricas estritas não significa que os modelos falharam em entender o mundo, mas que eles "veem" o mundo através de lentes estruturais diferentes.
• Crítica à Hipótese Platônica: A evidência atual para a convergência representacional é consideravelmente mais fraca do que trabalhos anteriores sugeriram. A hipótese de que "apenas linguagem é necessária" (baseada nessa convergência) é questionada, pois ignora a riqueza e a estrutura única que modalidades como a visão trazem, que não são perfeitamente capturadas ou alinhadas com o texto.

Em suma, o trabalho sugere que, em vez de sair da "Caverna de Platão" para encontrar uma verdade única, os modelos de IA permanecem em suas próprias cavernas, cada uma com sua própria estrutura de sombras coerente, mas distinta.