Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

Resumo Técnico: Sondando a Estrutura de Fase Minimalista em LLMs

Enunciação do Problema
A sondagem estrutural estabeleceu que Modelos de Linguagem de Grande Escala (LLMs) codificam estrutura sintática em suas representações ocultas, tipicamente treinados para recuperar distâncias de árvores de Universal Dependencies (UD). No entanto, a UD é um esquema de anotação, não uma gramática gerativa; carece de abstrações sintático-formais como limites de fase (do Programa Minimalista) ou coesão interna à fase. Consequentemente, a sondagem padrão baseada em UD não pode determinar se os LLMs codificam essas propriedades estruturais mais profundas. Se uma sonda detectar uma diferença entre condições, não está claro se isso reflete a abstração sintática alvo ou meramente um re-codificação das distâncias UD ou propriedades superficiais. Este artigo aborda a questão em aberto de saber se os LLMs codificam abstrações sintático-formais além do alcance da sondagem baseada em anotação.

Metodologia
Os autores projetam um experimento de sondagem usando estímulos de movimento de wh, onde a distância da árvore UD entre pares de palavras sondados é mantida invariante entre as condições por construção. Isso garante que qualquer efeito não nulo detectado pela sonda reflita informações estruturais não capturadas pela UD.

1. Construção dos Estímulos:
   Três condições são criadas para cada item, ordenadas pelo número de limites de fase do Programa Minimalista (PM) que o elemento wh atravessa:

   • Pequena Cláusula Nua: (ex: O que ela viu ele comer?) – 0 fases adicionais.
   • Infinitiva: (ex: O que ela esperava que ele comesse?) – 1 fase adicional (vP).
   • Finita: (ex: O que ela pensou que ele comeu?) – 2 fases adicionais (vP e CP).

   Dois pares de sonda são medidos:

   • Inter-cláusula (wh–sujeito embutido): Testa o "gradiente de contagem de fases" (profundidade estrutural).
   • Intra-cláusula (sujeito embutido–verbo embutido): Testa a "coesão interna à fase". Crucialmente, a distância UD para este par é exatamente 1 aresta (nsubj) em todas as três condições.

2. Protocolo de Sondagem:

   • Probes lineares são treinados no Universal Dependencies English Web Treebank (UD-EWT) para mapear estados ocultos para o espaço euclidiano.
   • Esses probes treinados são avaliados nos estímulos de movimento de wh sem ajuste adicional.
   • Tamanhos de efeito ($\beta$) são estimados via regressão OLS comparando as condições Finita e Infinitiva contra a linha de base Nua.
   • Relatório de Camada Canônica: Para evitar a seleção oportunista de camadas (um problema comum onde diferentes contrastes atingem o pico em camadas diferentes), os autores definem uma única "camada canônica" ($L^*$) por modelo com base na camada que maximiza o contraste mais confiável ($\beta_{fin}$). Todos os outros contrastes são relatados nesta camada fixa.

3. Verificação Causal:
   Um experimento de patching de ativação é conduzido. A representação do fluxo residual do sujeito embutido de uma fonte Infinitiva é patchada em um alvo Nuo. Se a representação codificar causalmente informações sobre o tipo de cláusula, isso deve deslocar a distância da sonda na direção prevista.

4. Modelos:
   O estudo avalia 13 modelos base apenas-decodificador de quatro famílias: Gemma-3, Llama-3, Mistral e Qwen.

Principais Resultados

1. Gradiente de Contagem de Fases (Inter-cláusula):
   Em 12 de 13 modelos, a distância da sonda entre o elemento wh e o sujeito embutido segue o gradiente previsto: $\beta_{fin} > \beta_{inf} > 0$. Isso indica que as representações do modelo refletem o número crescente de limites de fase atravessados, mesmo que as distâncias UD sejam invariantes.

2. Assimetria de Sinal (Intra-cláusula):
   No par sujeito embutido–verbo (onde a distância UD é idêntica), observa-se uma robusta assimetria de sinal 13/13:

   • Condição Finita: $\beta < 0$ (as representações estão mais próximas que a linha de base).
   • Condição Infinitiva: $\beta > 0$ (as representações estão mais distantes que a linha de base).

   Este padrão contradiz explicações alternativas:

   • Distância UD: Prevê $\beta \approx 0$ (a distância é constante).
   • Distância linear: Prevê $\beta_{inf} > 0$ mas $\beta_{fin} \approx 0$ (finita e nua são adjacentes; infinitiva tem um 'to' interveniente).
   • Complexidade monotônica: Prevê $\beta_{fin} > \beta_{inf} > 0$ (mais estrutura = maior distância).

   O $\beta_{fin}$ negativo observado é especificamente previsto pela coesão interna à fase, uma abstração do PM onde itens dentro da mesma fase concluída (CP Finita) são externalizados como uma unidade coesa, tornando-os representacionalmente mais próximos.

3. Corroboração Causal:
   O patching de ativação na posição do sujeito embutido desloca com sucesso as distâncias da sonda na direção prevista para 12 de 13 modelos. Isso confirma que as representações identificadas são causalmente ativas na computação do modelo, abordando o ceticismo sobre se as sondas recuperam representações que o modelo realmente usa.

Principais Contribuições

1. Sondagem com Distância UD Invariante: Os autores demonstram um método para sondar estrutura sintática onde as distâncias UD são estritamente controladas, garantindo que os efeitos detectados reflitam estrutura além da UD.
2. Relatório de Camada Canônica: Introduzem um padrão de relato mais rigoroso que ancora todos os contrastes a uma única camada, removendo um grau de liberdade e revelando heterogeneidade (ex: a falha do Qwen-3-4B) que o relato de pico por contraste ocultaria.
3. Evidência Causal: Através do patching de ativação, fornecem evidência direta de que as representações de estrutura de fase são computacionalmente ativas, não meramente correlacionais.

Significado e Alegações
O artigo alega que o pré-treinamento distribucional induz representações alinhadas com abstrações sintático-formais (especificamente limites de fase e coesão interna à fase) que são invisíveis à anotação baseada em UD. A assimetria de sinal 13/13 no par intra-cláusula serve como prova de existência de que os LLMs codificam informações estruturais inacessíveis à sondagem padrão.

Os autores concluem que probes fundamentados em UD fornecem um limite inferior para a codificação sintática, não um limite superior. Os achados sugerem que os LLMs podem possuir uma representação sintática mais rica do que a capturada por anotações de dependência padrão, impulsionada pelas regularidades estatísticas dos dados de treinamento em vez de instrução gramatical explícita.

Limitações
O estudo limita-se ao inglês e a classes verbais específicas. Os autores notam que o gradiente de contagem de fases é direcional (prevendo ordem, não razões de magnitude) e que os efeitos de escala dentro das famílias de modelos são heterogêneos. A alegação causal é conservadora, limitada ao efeito da representação do sujeito embutido nas distâncias da sonda em geral, em vez de provar mecanismos específicos para a assimetria de sinal.