Resumo Técnico: Além da Linguagem: Subespaços de Raciocínio Agnósticos ao Formato em Grandes Modelos de Linguagem

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) processam inferências lógicas idênticas expressas em formas superficiais vastamente diferentes — variando de prosa em inglês e texto em chinês a código Python e notação matemática. Embora pesquisas anteriores tenham estabelecido que LLMs multilíngues desenvolvem representações internas compartilhadas entre línguas naturais, permanece desconhecido se essa invariância se estende a sistemas simbólicos genuinamente diferentes. A questão central é se os LLMs possuem um substrato interno comum para o raciocínio que transcende codificações simbólicas específicas (linguísticas, formais e estruturais) e, se assim for, se essa estrutura está causalmente envolvida no cálculo e é universal entre arquiteturas.

Metodologia

Os autores introduzem o Benchmark TriForm, um conjunto de dados controlado composto por 324 estímulos derivados de 18 conceitos de raciocínio (abrangendo domínios aritméticos, lógicos, relacionais, causais e espaciais). Cada conceito é expresso em seis formas superficiais organizadas ao longo de três dimensões:

1. Linguística: Prosa em inglês, chinês e francês.
2. Simbólica: Código Python e notação matemática.
3. Estrutural: Dados estruturados passo a passo.

O estudo avalia cinco LLMs apenas com decodificador (de 1,6B a 8B parâmetros) de três famílias de arquiteturas (GPT, Qwen, Llama/Mistral) usando o seguinte quadro analítico:

• RSA Corrigida por Permutação: Para identificar a estrutura em nível de conceito, os autores empregam Análise de Similaridade Representacional (RSA) com testes de permutação para corrigir a não independência de distâncias pareadas, distinguindo sinais de conceito de sinais de forma superficial.
• Sondagem Cruzada de Formatos: Classificadores regularizados por Ridge são treinados em ativações de uma forma superficial para prever a identidade do conceito em outra, testando a decodabilidade linear entre formatos.
• Entropia de Neurônio Agnóstico ao Formato: Inspirados no LAPE, os autores quantificam a especificidade do neurônio medindo a entropia das distribuições de ativação entre formatos, identificando neurônios que ativam uniformemente (agnósticos ao formato) versus aqueles específicos de certos formatos.
• Extração de Subespaço (FARS): Um Subespaço de Raciocínio Agnóstico ao Formato é extraído usando Análise de Componentes Principais (PCA) baseada em centróides de conceitos. Ao média-activações entre todas as formas e instâncias para cada conceito, os autores isolam os $k$ principais componentes que capturam a variância do conceito enquanto suprimem a variância da forma.
• Intervenção Causal: O estudo utiliza patching de ativação e ablação de subespaço.
  • Patching cruzado de formatos: Substituir estados ocultos de uma forma fonte (ex: inglês) em uma forma alvo (ex: Matemática) para medir a preservação da saída.
  • Patching de subespaço: Substituir apenas os componentes projetados do FARS (10 dimensões) durante a transferência cruzada de formatos.
  • Ablação de subespaço: Remover direções do FARS para medir a perturbação na saída do modelo.

Principais Resultados

1. Existência de um Subespaço de Raciocínio Agnóstico ao Formato (FARS)

• Evidência Correlacional: A RSA revela que os sinais em nível de conceito atingem o pico nas camadas intermediárias de todos os modelos, fortalecendo-se com a escala. Embora a forma superficial permaneça o princípio organizador dominante (RSA de Forma $\rho \approx 0,43\text{--}0,53$), os sinais de conceito são significativos ($\rho \approx 0,10\text{--}0,20$) e crescem mais rapidamente com o tamanho do modelo.
• Decodabilidade: A precisão da sondagem cruzada de formatos excede significativamente o acaso (5,6%), atingindo até 60,3% (Mistral-7B).
• Localização de Neurônios: Neurônios agnósticos ao formato concentram-se nas camadas intermediárias (20–23% dos neurônios), espelhando a distribuição de neurônios agnósticos à língua encontrada em estudos cruzados de línguas anteriores.

2. Relevância Causal e Eficiência do Subespaço

• Transferência de Alta Fidelidade: Substituir apenas as 10 dimensões superiores do subespaço FARS durante o patching cruzado de formatos preserva 90–96% da saída dos 10 tokens principais do modelo.
• Comparação com Controles: Este desempenho supera amplamente a substituição completa de ativações (44–56%) e a substituição por PCA maximizadora de variância (60–74%).
• Ablação: A remoção do subespaço FARS causa perturbação direcionada (baixa divergência KL para FARS versus alta para direções específicas de formato), confirmando que essas dimensões específicas são causalmente suficientes para o raciocínio cruzado de formatos.
• Dimensionalidade: A estrutura relevante para o raciocínio é genuinamente de baixa dimensão, estabilizando-se em $k=8\text{--}10$ componentes dentro de um espaço de 1600–4096 dimensões.

3. A Assimetria Declarativa-Procedural

Uma descoberta crítica é a divergência na compatibilidade baseada na natureza do sistema simbólico, e não apenas na língua:

• Compatibilidade Declarativa: O patching entre prosa em inglês e notação matemática preserva 65–73% da saída.
• Divergência Procedural: O patching entre prosa em inglês e código Python preserva apenas 16–22% da saída.
• Conclusão: O eixo crítico de divergência não é "linguístico vs. formal", mas declarativo vs. procedural. As representações são altamente compatíveis entre formatos declarativos (prosa, matemática, dados estruturados), mas significativamente menos compatíveis ao fazer a ponte para codificações procedurais (código).

4. Universalidade e Convergência

• Generalização: O FARS extraído de um subconjunto de conceitos generaliza-se para conceitos retidos com degradação suave.
• Convergência Cruzada de Arquiteturas: Diferentes famílias de modelos convergem para a mesma geometria de subespaço. A Análise de Correlação Canônica (CCA) cruzada entre modelos excede 0,79 para todos os pares, e a RSA de centróide excede 0,77, fornecendo evidências dentro da modalidade para a Hipótese da Representação Platônica.

Significado e Alegações

O artigo alega fornecer a primeira evidência sistemática de que os LLMs desenvolvem um subespaço concreto, de baixa dimensão e agnóstico ao formato para o raciocínio, que é causalmente suficiente para a transferência cruzada de símbolos.

• Contribuição Teórica: As descobertas apoiam a Hipótese da Representação Platônica dentro de uma única modalidade, sugerindo que as representações de raciocínio abstrato convergem entre diferentes codificações simbólicas.
• Insight Mecanístico: A descoberta da assimetria declarativa-procedural refina a compreensão da invariância de formato, identificando uma fronteira fundamental entre raciocínio declarativo (prosa, matemática) e execução procedural (código) que anteriormente não era caracterizada.
• Utilidade Prática: O FARS oferece uma ferramenta concreta e extraível (uma base de 10 dimensões) para engenharia de representações. Sugere que intervenções de segurança ou vetores de direção descobertos em um formato declarativo (ex: inglês) podem transferir-se para outros (ex: Matemática) através deste subespaço, mas podem falhar ao fazer a ponte para formatos procedurais (código), destacando uma possível lacuna de segurança onde raciocínios prejudiciais em código poderiam contornar filtros treinados em prosa.

Os autores notam limitações, incluindo a avaliação apenas de modelos base, a natureza supervisionada da extração do FARS e o uso de estímulos gerados programaticamente, reconhecendo que a dimensionalidade e a geometria do FARS em modelos maiores ou ajustados por instrução permanecem questões em aberto.