On the Emergence and Test-Time Use of Structural Information in Large Language Models

Resumo Técnico: Sobre a Emergência e o Uso de Informação Estrutural em Grandes Modelos de Linguagem

Motivação do Problema
O artigo aborda a capacidade dos Grandes Modelos de Linguagem (LLMs) de aprender informações estruturais abstratas a partir de dados observacionais e utilizar esse conhecimento para gerar novas combinações genuínas no momento da inferência (test-time). Enquanto humanos podem reorganizar blocos linguísticos básicos para compreender combinações não vistas (generalização composicional), os modelos atuais frequentemente lutam para realizar a generalização sistemática de conceitos fora da distribuição (OOD). Os autores postulam que entender como os LLMs aprendem e compõem informações estruturais é central para produzir novo conhecimento fora do corpus de treinamento, uma capacidade ligada à compreensão mecânica e à previsão robusta. Para estudar isso em um ambiente controlado, os autores vão além dos benchmarks padrão para focar em transformações estruturais linguísticas derivadas da Gramática Transformacional.

Metodologia
Os autores introduzem um playground sintético controlado baseado na Gramática Transformacional (GT).

• Construção do Dataset: Eles geraram um dataset de linguagem natural compreendendo dez tipos distintos de transformações (ex: elevação de NP, passivização, movimento de I) agrupados em cinco categorias sintáticas. O dataset inclui:
  • Transformações de nível único: Aplicação de um operador a uma frase base.
  • Transformações aninhadas: Aplicação sequencial de operadores (ex: $B(A(s))$).
  • Ambiguidade composicional: Casos onde certas transformações não podem ser compostas de forma significativa, exigindo que o modelo identifique implicitamente padrões compatíveis.
  • O dataset foi gerado usando o DeepSeek-V3 com prompts específicos para garantir consistência, resultando em ~2000 amostras para transformações de nível único e ~500 para transformações aninhadas.
• Configuração Experimental:
  • Análise de Emergência: Usando o modelo Pythia-410M, os autores rastrearam a evolução das representações estruturais durante o treinamento. Eles computaram a distância $L_2$ entre as representações do fluxo residual de frases base e suas versões transformadas ($\Delta A(s)$) para medir a sensibilidade estrutural.
  • Generalização Composicional: Eles avaliaram o LLaMA3-8B utilizando tanto o ajuste fino de todos os parâmetros (full-parameter fine-tuning) quanto o ajuste fino eficiente em parâmetros (LoRA). A avaliação testou a capacidade do modelo de realizar transformações aninhadas e combinações OOD (ex: treinar em $A(B(s))$ e $B(C(s))$, e depois testar em $A(C(s))$) sem que passos intermediários sejam fornecidos durante a inferência.
  • Interpretabilidade Mecanística: Os autores realizaram análise de intervenção causal (zerando cabeças de atenção e blocos MLP) e sondagem linear (LDA) para identificar quais componentes da rede e camadas são responsáveis pelas transformações sintáticas.

Principais Contribuições

1. Dataset: Introdução de um dataset de linguagem natural baseado em transformações estruturais linguísticas para estudar formalmente o aprendizado de informação estrutural.
2. Correlações Empíricas: Demonstração de que a emergência de informação estrutural durante o aprendizado correlaciona-se com o sucesso em tarefas de raciocínio complexo, em vez de apenas com a perplexidade padrão de modelagem de linguagem.
3. Limitações na Composição: Evidência de que, embora os modelos aprendam representações estruturais, sua capacidade de realizar geração composicional no tempo de teste (especificamente para transformações aninhadas não vistas) permanece limitada sob ajuste fino.
4. Insights Mecanísticos: Identificação de componentes específicos da rede responsáveis pelo aprendizado estrutural, revelando uma concentração de computação relevante para a transformação nas camadas tardias e um domínio dos blocos MLP sobre os mecanismos de atenção.

Resultos

• Emergência de Estrutura:
  • Diferentes transformações de sentenças formam clusters distintos e separáveis no espaço de embedding.
  • A norma $L_2$ entre as representações das sentenças base e transformadas aumenta constantemente durante o treinamento, com um aumento abrupto por volta do passo 64k, indicando uma transição de fase onde as distinções estruturais se tornam pronunciadas.
  • Este refinamento estrutural correlaciona-se mais proximamente com ganhos em tarefas de raciocínio complexo do que com a perplexidade padrão de predição da próxima palavra.
• Generalização Composicional:
  • O ajuste fino de todos os parâmetros (full-parameter fine-tuning) teve um desempenho ruim, provavelmente devido ao overfitting no dataset limitado.
  • O ajuste fino LoRA mostrou melhoria significativa em relação ao ajuste fino de todos os parâmetros. No entanto, o modelo teve dificuldade com correspondências exatas para transformações aninhadas quando resultados intermediários não foram fornecidos durante a inferência.
  • O desempenho em transformações aninhadas OOD (ex: $A+C$) permaneceu baixo (0,00% de correspondência exata, ~45-49% de correspondência parcial), sugerindo que o modelo não desmembra totalmente as operações de transformação para compô-las de forma flexível no tempo de teste.
  • Fornecer passos intermediários explícitos durante o treinamento e a inferência melhorou o desempenho, indicando que o modelo se beneficia de orientação estrutural, mas ainda não consegue generalizar robustamente para composições não vistas sem ela.
• Ablação e Interpretabilidade:
  • Concentração de Camadas: A probabilidade de prever o token de transformação correto aumenta bruscamente no último terço da rede (camadas 24–32), com 38% da contribuição concentrada ali.
  • Preferência de Componente: Blocos MLP contribuem mais para o sucesso da transformação sintática (65% da contribuição causal) do que os mecanismos de atenção (35%).
  • Separabilidade Linear: Sondas lineares mostram uma separação quase perfeita entre tipos de transformação no fluxo residual, apoiando a hipótese de representação linear.

Significância e Alegações
O artigo alega fornecer evidências sobre os limites e mecanismos dos LLMs na geração de novo conhecimento através de composição estrutural. Os autores concluem que, embora os LLMs possam aprender informação estrutural e exibir uma transição de fase na sensibilidade estrutural durante o treinamento, eles atualmente carecem da capacidade de recompor flexivelmente estruturas fora da distribuição para produzir novo conhecimento sem orientação intermediária explícita. Os achados sugerem que o raciocínio pode exigir informação estrutural, mas os regimes atuais de ajuste fino em modelos como o LLaMA3-8B ainda não alcançam uma generalização composicional robusta. O trabalho destaca que as transformações sintáticas dependem fortemente de MLPs de camadas tardias e que a separação de conceitos emerge linearmente no fluxo residual conforme o ajuste fino progride.

Limitações
Os autores reconhecem que sua análise é limitada ao inglês, o que pode restringir a generalizabilidade para padrões translinguísticos. O uso de transformações de nível único para atribuição causal pode confundir suboperações. Além disso, as descobertas em um modelo de 8B podem não escalar diretamente para modelos maiores, que exigiriam datasets mais complexos para evitar a memorização.