When Self-Reference Fails to Close: Matrix-Level Dynamics in Large Language Models

Resumo Técnico: Dinâmicas Matriciais em Nível de Modelo em LLMs

1. O Problema Investigado

O artigo aborda uma questão fundamental sobre o comportamento interno de Grandes Modelos de Linguagem (LLMs) quando confrontados com autorreferência paradoxal, especificamente o "Paradoxo do Mentiroso" (ex: "Esta afirmação é falsa").

• Hipótese Prevalecente: Acredita-se frequentemente que a autorreferência em si é instável para os modelos.
• A Lacuna: Não está claro se a instabilidade é causada genericamente pela autorreferência ou por um tipo específico de estrutura lógica que o modelo não consegue resolver dentro de sua profundidade finita.
• Objetivo: Investigar como entradas autorreferenciais alteram a dinâmica matricial interna (operações lineares, espectros de autovalores, singularidades) das camadas do Transformer, distinguindo entre autorreferência "estável" (com significado) e "não fechada" (paradoxal).

2. Metodologia

Os autores realizaram uma análise empírica profunda, indo além das estatísticas de ativação para examinar a álgebra linear das camadas.

• Modelos Analisados: 4 modelos de 3 famílias arquitetônicas distintas:
  • Qwen3-VL-8B (8B parâmetros, GQA + QK-norm).
  • Llama-3.2-11B (11B parâmetros).
  • Llama-3.3-70B (70B parâmetros, 80 camadas).
  • Gemma-2-9B (9B parâmetros, atenção local/global intercalada).
• Conjunto de Dados: 300 prompts organizados em uma hierarquia de 14 níveis de complexidade autorreferencial, testados em 3 temperaturas ($T \in \{0.0, 0.3, 0.7\}$).
• Métricas: Extração de 106 métricas escalares por prompt, incluindo:
  • Espectros de autovalores da atenção.
  • Trajetórias de valores singulares (SVD).
  • Perfis de "delta de verdade" (truth-delta).
  • Razões de contração de mortalidade e sondas matriciais autoregressivas.
• Taxonomia de Prompts (4 Clusters):
  • C1: Não autorreferencial estável (controles).
  • C2: Autorreferência estável (ex: "Esta frase tem 5 palavras").
  • C3: Raciocínio complexo fechável (ex: problemas de ponto fixo solúveis).
  • C4: Recursão de Verdade Não Fechada (NCTR) – O foco do estudo (paradoxos, indecidíveis de Gödel, regressão infinita).
• Abordagem Analítica: Decomposição SVD por camada, testes de hipóteses pré-especificadas, ablação de pares mínimos ("Esta frase" vs. "Aquela frase") e classificação logística.

3. Contribuições Principais

1. Introdução da Hipótese NCTR: A descoberta de que a instabilidade não é causada pela autorreferência genérica, mas especificamente por prompts que induzem uma Recursão de Verdade Não Fechada (Non-Closing Truth Recursion - NCTR) — cálculos de valor de verdade que não admitem resolução em profundidade finita.
2. Suíte de Métricas Baseada em Teoria: Desenvolvimento de 106 métricas no nível da matriz, inspiradas em problemas clássicos de indecidibilidade em semigrupos matriciais (Mortalidade, Problema de Skolem, Raio Espectral Conjunto).
3. Evidência Empírica Robusta: Demonstração de que prompts NCTR produzem assinaturas dinâmicas distintas e mensuráveis em todas as arquiteturas testadas, diferenciando-se de autorreferência estável e controles factuais.
4. Conexão Teórica: Proposição de um arcabouço conjectural que liga a dinâmica do Transformer a problemas de indecidibilidade formal, sugerindo que o NCTR força o modelo para regimes dinâmicos onde esses problemas se concentram.

4. Resultados Chave

• Instabilidade Específica do NCTR:

  • Prompts NCTR (C4) são marcadamente mais instáveis do que autorreferência estável (C2) em métricas relacionadas ao "colapso" (rank efetivo, kurtose de variância).
  • Rank Efetivo da Atenção: Prompts NCTR produzem um rank efetivo anormalmente elevado, indicando uma reorganização da atenção com dispersão global, em vez de um colapso simples.
  • Magnitude do Efeito: No modelo Llama 70B, a diferença entre NCTR e autorreferência estável atingiu um tamanho de efeito de Cohen's $d = 3.14$ (rank efetivo) a $3.52$ (kurtose de variância).
  • Significância Estatística: 281 de 397 combinações métrica-modelo foram significativas ($q < 0.05$) após correção FDR, com 198 mostrando efeitos grandes ($|d| > 0.8$).

• Evidência por Camada (SVD):

  • A decomposição SVD confirma que a perturbação ocorre em todas as camadas amostradas (d > +1.0 em todas as camadas analisadas), descartando artefatos de agregação.
  • O efeito atinge o pico nas camadas intermediárias (ex: camada 28 no Gemma), onde as restrições de entrada e saída são menos dominantes.

• Desempenho de Classificação:

  • Um classificador logístico treinado apenas com métricas de nível matriz alcançou uma AUC de 0.81 a 0.90 (validação cruzada de 5 dobras) para distinguir prompts NCTR de outros tipos de entrada.

• Comportamento de Saída Contraditória:

  • Prompts NCTR geram taxas significativamente maiores de saída contraditória (+34 a +56 pontos percentuais em comparação com controles).
  • Existe uma correlação significativa ($\rho = 0.34 - 0.44$) entre a perturbação do rank efetivo da atenção e a produção de saídas contraditórias.

• Ablação de Pares Mínimos:

  • Alterar apenas uma palavra ("Esta frase" vs. "Aquela frase") resultou em 42 combinações métrica-modelo significativas, confirmando que a estrutura recursiva, e não apenas o conteúdo semântico, é o gatilho.

5. Significado e Implicações

• Limites Computacionais dos Transformers: O estudo sugere que os Transformers, sendo máquinas de profundidade finita, falham distintamente quando forçados a iterar sobre funções sem pontos fixos consistentes (paradoxos). Isso alinha-se com a caracterização teórica de que transformadores de precisão logarítmica estão limitados a $TC^0$, incapazes de resolver iterações de ponto fixo instáveis em profundidade constante.
• Mecanismo de Falha: A falha não é apenas um erro de vocabulário, mas uma reorganização dinâmica global onde o semigrupo computacional do modelo é forçado para perto de limites de indecidibilidade (regime crítico onde o raio espectral $\rho \approx 1$), impedindo a convergência para um atrator de baixa dimensão.
• Robustez Arquitetural: Embora a magnitude e a direção de algumas métricas secundárias variem entre arquiteturas (devido a diferenças como QK-norm ou atenção intercalada), a assinatura central (elevação do rank efetivo da atenção) é invariante à arquitetura.
• Futuro: O trabalho oferece um caminho para entender modos de falha em raciocínio autoconsciente e sugere que a estabilidade de modelos futuros pode depender de mecanismos que evitem ou gerenciem explicitamente essas recursões não fechadas.

Em suma, o paper demonstra que a "instabilidade" em LLMs diante de paradoxos é um fenômeno estrutural mensurável no espaço matricial, distinto da simples dificuldade de raciocínio, e está intrinsecamente ligado à incapacidade de sistemas de profundidade finita de resolverem recursões de verdade sem ponto fixo.