Laguerre Geometry for Interpreting Large Language Models

Resumo Técnico: Geometria de Laguerre para Interpretação de Grandes Modelos de Linguagem

Problema
Apesar da clareza ontológica das computações atômicas dentro dos Grandes Modelos de Linguagem (LLMs), os mecanismos epistemológicos pelos quais essas computações coalescem em inteligência emergente permanecem opacos. Um mistério central diz respeito à organização de conceitos semânticos nos espaços de representação dos LLMs. As abordagens existentes, primariamente fundamentadas na Hipótese da Representação Linear (LRH), tipicamente definem conceitos como pontos únicos, direções lineares ou aglomerados gaussianos. No entanto, quatro questões fundamentais permanecem não resolvidas sob esses frameworks: (I) Qual é a definição precisa de um conceito? (II) Em qual espaço de representação ele é codificado? (III) Qual estrutura geométrica concreta o carrega? e (IV) Por que a linearidade é assumida, e até que ponto ela se mantém? Além disso, as ferramentas de interpretabilidade atuais (ex: Logit Lens, Tuned Lens) frequentemente dependem de decodificação heurística ou requerem treinamento, carecendo de um fundamento de verdade absoluta (ground truth) para o "significado" de vetores ocultos em camadas intermediárias.

Metodologia
Os autores propõem um framework geométrico baseado na Geometria de Laguerre para unificar a decomposição geométrica de baixo nível com a organização semântica de alto nível. A metodologia procede através de três estágios principais:

1. Camada de Unembedding como um Diagrama de Laguerre-Voronoi (LVD):
   O artigo estabelece que a camada de projeção linear final (camada de unembedding) de um LLM, parametrizada por pesos $W$ e vieses $b$, naturalmente particiona o espaço de representação $\mathbb{R}^d$ em um Diagrama de Laguerre-Voronoi (também conhecido como Diagrama de Potência).

   • Definição de Conceito: Um conceito é redefinido não como um vetor, mas como uma célula específica de Laguerre-Voronoi $\omega_j$, caracterizada por um centro $c_j$ e um peso $\nu_j$. Uma categoria é definida como a união de múltiplas células dessas.
   • Propriedades Geométricas: Esta formulação permite a definição estrita de separabilidade linear entre conceitos e categorias. Crucialmente, introduz um Score de Dominação derivado dos pesos e centros de Laguerre, permitindo a detecção de relações hierárquicas (ex: hiponímia/hiperonímia) como "cachorro" $\subset$ "mamífero" $\subset$ "animal", que são difíceis de detectar usando apenas distâncias vetoriais.

2. Decomposição de Camadas Transformer:
   Os autores estendem esta visão geométrica para os blocos intermediários do transformer. Ao decompor a rede em operadores lineares por partes (blocos MLP) e analisar o mecanismo de atenção, eles demonstram que o espaço de entrada é particionado em regiões lineares por partes.

   • Entrada Única vs. Múltiplas Entradas: Para tokens de entrada única, a trajetória segue uma árvore estática de fluxo linear por partes. Para múltiplas entradas, o mecanismo de atenção cruzada atua como um termo de transporte dinâmico, "saltando" a trajetória oculta entre diferentes árvores (regiões) quando a atenção é disparada.
   • Correspondência de Regiões: Cada região linear em qualquer camada é atribuída a um rótulo semântico correspondente à célula de Laguerre que ela alcançaria ultimamente se fosse propagada através do restante da rede sem interferência contextual adicional.

3. Lente Geométrica e Autoencoder de Laguerre:

   • Lente Geométrica (Geometric Lens): Um método livre de treinamento e livre de hiperparâmetros para decodificar vetores ocultos. Ele isola um vetor oculto $h^{(\ell)}_i$ de efeitos contextuais subsequentes, forçando os pesos de autoatenção a 1 (zerando atualizações entre tokens) e propagando o vetor através da rede linear por partes restante para identificar sua célula de Laguerre final.
   • Autoencoder de Laguerre (LAE): Uma ferramenta de visualização 2D que renderiza conjuntamente as representações ocultas e suas respectivas regiões de LVD. É treinado com uma função de perda que combina erro de reconstrução e um termo que garante que o ponto reconstruído caia dentro da mesma célula de Laguerre que o original, preservando a geometria de decisão.

Principais Contribuições

• Redefinição de Conceitos: O artigo vai além de definições baseadas em pontos ou direções, definindo conceitos como regiões poliedrais convexas (células de Laguerre-Voronoi) induzidas pela camada de unembedding.
• Descoberta Hierárquica: Demonstra que os pesos de Laguerre naturalmente codificam hierarquias conceituais e relações de inclusão, permitindo a descoberta não supervisionada de hipônimos e hiperônimos sem conjuntos de atributos predefinidos.
• Lente Geométrica: Uma nova ferramenta de interpretabilidade, livre de treinamento, que revela o conceito exato que um vetor oculto codifica em qualquer camada, rastreando seu caminho através da partição linear por partes intrínseca do modelo.
• Visualização: O Autoencoder de Laguerre fornece uma visão 2D unificada tanto da geometria de decisão do modelo quanto da trajetória das representações de tokens.

Resultados Experimentais
Os autores validam seu framework através de diversos experimentos:

• Separabilidade Linear: Em tarefas de sondagem linear comparando "Animal vs. Planta" e "Evento vs. Cognição", a Geometria de Laguerre (usando pontos elevados do LVD) alcançou taxas de erro menores do que a Geometria Categórica (vetores branqueados) e a Geometria de Treliça (Lattice Geometry) em múltiplos modelos (Phi-2, Gemma-2, Pythia).
• Detecção de Hierarquia: O score de dominação proposto identificou com sucesso relações hierárquicas (ex: "cachorro" sob "animal") com precisão superando significativamente a Geometria de Treliça e os baselines aleatórios em Phi-2 e Pythia-70M.
• Análise de Trajetória: As visualizações do prompt "A capital da França é" mostram que a Lente Geométrica traça um caminho mais complexo e diverso pelo espaço de representação comparado ao Logit Lens e Patchscopes. Ela captura o processo de refinamento interno do modelo, onde tokens gramaticalmente incorretos, mas factualmente corretos (ex: "Paris"), aparecem em camadas intermediárias antes que o modelo se estabilize no token gramaticalmente correto ("_Paris").
• Interferência de Contexto (In-Context Interference): Em prompts projetados para induzir interferência (ex: trocar nomes de cidades em um contexto fictício), a Lente Geométrica demonstrou robustez superior. Ao examinar o ranking do token em camadas intermediárias (especificamente a camada 20), a Lente Geométrica recuperou o token factualmente correto com mais frequência do que o Logit Lens ou Patchscopes, sugerindo que ela revela o verdadeiro processo de raciocínio do modelo antes de ser sobrescrito pela interferência da camada final.

Significância e Alegações
O artigo afirma fornecer uma base geométrica rigorosa para a Hipótese da Representação Linear, movendo-a de uma suposição informal para uma propriedade estritamente definida da estrutura linear por partes do modelo. Ao estabelecer que conceitos são regiões e não pontos, os autores argumentam que este framework oferece um fundamento de verdade absoluta para representações ocultas, eliminando a necessidade de decodificação heurística ou treinamento externo.

A significância reside na mudança da interpretabilidade de uma "geometria explicativa" (descrevendo estruturas estáticas) para uma "interpretabilidade acionável". A Lente Geométrica permite que pesquisadores leiam o conceito exato codificado em um vetor oculto e, como demonstrado, recuperem verdades factuais mesmo quando a saída final do modelo é corrompida por interferência de contexto. Os autores posicionam este trabalho como um passo fundamental para entender como a inteligência de alto nível emerge de partições geométricas de baixo nível, com trabalhos futuros planejados para estender este framework para intervenção causal e controle de comportamento (behavior steering).