Representation in large language models

1. Declaração do Problema

O rápido sucesso dos Grandes Modelos de Linguagem (LLMs) desencadeou um impasse filosófico e científico entre "otimistas" (que argumentam que os LLMs possuem capacidades cognitivas genuínas, como raciocínio e compreensão) e "pessimistas" (que argumentam que os LLMs são meramente papagaios estocásticos ou "tabelas de consulta estocásticas" que memorizam dados de treinamento sem representação interna).

A discordância teórica central concerne ao nível algorítmico da operação dos LLMs (conforme os níveis de análise de Marr):

• A Visão Pessimista: O comportamento dos LLMs é impulsionado inteiramente por processos não representacionais: memorização e consulta a tabelas estocásticas.
• A Visão Otimista: O comportamento dos LLMs é impulsionado pelo processamento de informações baseado em representações, semelhante à cognição biológica.

O artigo argumenta que, sem resolver se os LLMs utilizam representações, questões de nível superior sobre suas crenças, intenções ou compreensão não podem ser respondidas. O autor visa resolver essa questão fundamental definindo o que constitui uma representação neste contexto, refutando a alternativa de "tabela de consulta" e validando as técnicas experimentais usadas para detectar representações.

2. Metodologia e Estrutura Teórica

O artigo emprega uma abordagem metodológica de três vertentes:

A. Análise Conceitual: Definindo Representação

O autor propõe uma estrutura de quatro condições para distinguir representações genuínas de meros intermediários causais. Um estado interno $R$ de um sistema $S$ representa uma característica $z$ se e somente se:

1. INFORMAÇÃO: $R$ carrega informação mútua sobre $z$ (correlação estatística que reduz a incerteza).
2. EXPLORABILIDADE: O sistema $S$ pode acessar e usar essa informação para condicionar seu comportamento.
3. COMPORTAMENTO: Explorar essa informação permite um comportamento relacionado a $z$ robusto (comportamento que permanece estável diante de pequenas perturbações e contextos variados).
4. PAPEL: $R$ desempenha um papel mecanístico na condução desse comportamento (é um componente causal do mecanismo que produz a saída).

Nota: Esta definição é "tética" (adequação mente-mundo) e aplica-se a estados subpessoais e não conscientes. Ela é contrastada com Harding (2023), cujos critérios são específicos de tarefas; Yetman argumenta por uma conta mais geral onde a atribuição de representação não é relativizada a uma única tarefa, mas ao comportamento relacionado a características em geral.

B. Refutação Empírica da Hipótese da "Tabela de Consulta"

O artigo analisa a alternativa da "tabela de consulta" (onde os LLMs são vistos como mapeamentos massivos e memorizados de entrada-saída). O autor argumenta que essa visão falha em explicar a generalização fora da distribuição (OOD).

• Estudo de Caso 1 (Othello-GPT): Li et al. (2023) treinaram um modelo em movimentos de Othello. Mesmo quando treinado em um conjunto de dados "distorcido" com 25% da árvore de jogo ausente, o modelo desempenhou perfeitamente em estados de tabuleiro não vistos. Uma tabela de consulta pura não poderia generalizar para estados que nunca havia memorizado.
• Estudo de Caso 2 (Espaço de Cores): Patel & Pavlick (2022) testaram modelos em inferência de cores. Quando os dados de treinamento foram permutados (rotacionados) de modo que pares específicos de códigos RGB fossem novos, mas as relações estruturais permanecessem as mesmas, o modelo generalizou com sucesso. Isso sugere que o modelo aprendeu uma representação da estrutura do espaço de cores, e não apenas memorizou pares.

C. Técnicas de Interpretabilidade Mecanística (MI)

Para ir além da inferência comportamental (que é subdeterminada pelo desempenho sozinho), o artigo valida a Interpretabilidade Mecanística como a ferramenta necessária para verificar representações.

• Sondagem (Probing): Treinar classificadores simples (sondas) em ativações internas para ver se informações sobre $z$ são decodificáveis (testando Informação e Explorabilidade).
• Intervenção (Teste Causal): Modificar estados internos (por exemplo, via direcionamento de ativação ou ablação) para ver se o comportamento do sistema muda de uma maneira relevante ao conteúdo (testando Papel e Comportamento).
  • Exemplo: No Othello-GPT, inverter a representação interna de uma peça do tabuleiro de "sua" para "minha" alterou causalmente a próxima jogada prevista pelo modelo, provando que o estado interno desempenha um papel mecanístico.
  • Exemplo: Templeton et al. (2024) usaram Autoencoders Esparsos (SAEs) para identificar e direcionar características (por exemplo, "Ponte Golden Gate"), fazendo com que o modelo gerasse texto relacionado, confirmando a existência de representações de características específicas.

3. Principais Contribuições

1. Resolução do Impasse: O artigo fornece um argumento rigoroso de que os LLMs não são meramente tabelas de consulta estocásticas. Embora a memorização ocorra, a capacidade de generalização robusta e fora da distribuição necessita de processamento baseado em representações.
2. Definição Refinada de Representação: O autor oferece uma definição precisa de quatro condições que evita o "panrepresentacionalismo" (a ideia de que tudo é uma representação) ao exigir que o estado desempenhe um papel mecanístico específico no comportamento robusto.
3. Defesa da Interpretabilidade Mecanística: O artigo defende o uso de técnicas de sondagem e intervenção contra objeções (por exemplo, de que as sondas detectam correlações espúrias ou que as intervenções sofrem de superdeterminação causal). Argumenta-se que essas técnicas são "companheiros de culpa" da inferência causal padrão em neurociência e são válidas para estabelecer a existência de representações em IA.
4. Distinção entre Desempenho e Competência: O artigo esclarece que o sucesso comportamental sozinho não é diagnóstico de representação (devido a heurísticas), nem o fracasso é diagnóstico de sua ausência. Apenas a análise mecanística interna pode confirmar a presença de representações.

4. Resultados

• Teórico: A hipótese da "tabela de consulta" mostra-se insuficiente para explicar o comportamento dos LLMs em casos que exigem generalização estrutural (por exemplo, Othello, espaço de cores).
• Empírico: Estudos existentes de MI (Othello-GPT, Espaço de Cores, SAEs) demonstram com sucesso que os LLMs possuem estados internos que satisfazem todas as quatro condições de representação: carregam informação, são decodificáveis, influenciam causalmente a saída e permitem comportamento robusto.
• Metodológico: O artigo estabelece que a sondagem confirma a presença de informação, enquanto a intervenção confirma a utilidade causal dessa informação. Juntas, elas fornecem um loop de verificação completo para explicações baseadas em representações.

5. Significado

• Fundamental para a Teoria de IA: Este artigo fornece a base para futuras teorizações sobre LLMs. Ao estabelecer que os LLMs usam representações, legitima a aplicação de estruturas da ciência cognitiva (desenvolvidas para humanos/animais) a sistemas de IA.
• Implicações para Cognição de Nível Superior: Se os LLMs possuem representações, isso abre a porta para investigações filosóficas sérias sobre se eles possuem conceitos, crenças ou compreensão. Desloca o debate de "Eles têm representações?" para "Qual é a natureza e o conteúdo dessas representações?".
• Segurança e Interpretabilidade Prática de IA: A validação das técnicas de MI sugere que podemos ir além de explicações de "caixa preta". Ao identificar circuitos representacionais específicos, os pesquisadores podem entender, depurar e alinhar melhor os LLMs, avançando em direção a sistemas de IA mais transparentes e controláveis.
• Consenso Filosófico: O artigo contribui para um consenso emergente na filosofia da mente e na IA de que as representações são indispensáveis para explicar comportamento complexo e flexível, fechando a lacuna entre a ciência cognitiva funcionalista e o aprendizado profundo moderno.