Resumo Técnico: O Substrato Latino em Grandes Modelos de Linguagem

Definição do Problema

Muitas línguas são escritas em múltiplos sistemas de escrita (ex: Hindi em Devanagari e Latim, Sérvio em Cirílico e Latim). Embora Modelos de Linguagem de Grande Escala (LLMs) Multilíngues possam gerar conteúdo linguístico equivalente através desses distintos sistemas ortográficos, os mecanismos internos que medeiam a variação de escrita permanecem mal compreendidos. Trabalhos anteriores sugerem que as representações são parcialmente compartilhadas entre as escritas, com fenômenos como a "romanização latente" observados onde camadas intermediárias representam transitoriamente informações em forma latina. No entanto, não está claro como os LLMs roteiam informações entre escritas, se eles dependem de representações latentes compartilhadas e se componentes arquitetônicos específicos são responsáveis pela seleção da escrita.

Metodologia

Os autores empregam uma abordagem multifacetada combinando análise representacional, direcionamento linear (linear steering) e localização mecanística em quatro LLMs de código aberto ajustados para instrução (Llama-3.1-8B/70B e Aya-Expanse-8B/32B), com foco específico em Hindi e Árabe.

1. Análise de Saída por Camada (Logit Lens): Usando a técnica logit lens, os autores decodificam ativações de camadas intermediárias para observar a distribuição do próximo token durante tarefas de transliteração. Eles quantificam a "fração latente" — a proporção de passos de tempo onde subpalavras romanizadas aparecem na previsão top-1 — para detectar representações latinas intermediárias.
2. Análise Representacional:
   • Separabilidade: Eles medem a separabilidade de escrita usando sondas lineares, similaridade de cosseno e razões de discriminante de Fisher em estados ocultos com mean-pooling de sentenças nativas vs. romanizadas.
   • Direcionamento (Steering): Eles constroem vetores de direcionamento linear ($v_{nat2lat}$ e $v_{lat2nat}$) baseados na diferença nas representações ocultas médias entre classes de escrita. Esses vetores são aplicados ao fluxo residual para testar se a identidade da escrita pode ser invertida enquanto preserva a semântica.
   • Generalização: Vetores de direcionamento derivados de Hindi e Árabe são aplicados a línguas não vistas (ex: Russo, Japonês, Tailandês) para testar eixos de escrita agnósticos à língua.
3. Análise Mecanística (Patching de Ativação): Os autores utilizam counterfactual activation patching para localizar cabeças de atenção específicas que medeiam causalmente a escolha da escrita. Ao trocar ativações entre execuções nativas e latinas, eles medem a mudança nos log-odds de produzir tokens de escrita nativa vs. escrita latina. Eles validam esses achados através de intervenções direcionadas (zerar ou realizar patching de subconjuntos específicos de cabeças) em prompts não utilizados no treinamento.

Resultados Principais

1. Romanização Latente

Durante tarefas de transliteração, os modelos exibem consistentemente uma romanização latente. Em camadas médias a superiores (ex: camadas 20–40 no Llama-3.1-8B), o modelo's previsões internas alinham-se transitoriamente com subpalavras romanizadas antes de se comprometer com a escrita alvo final. Isso sugere que a escrita latina atua como uma ponte de representação intermediária compartilhada durante a transformação de escrita.

2. Assimetria Representacional e Direcionamento

• Separabilidade: A informação de escrita torna-se cada vez mais separável através das camadas, com clusters distintos para diferentes escritas emergindo primariamente no terço superior da rede.
• Direcionamento Linear: Uma direção de direcionamento linear simples pode inverter a escrita de saída do modelo enquanto preserva amplamente o conteúdo semântico.
• Assimetria Direcional: O efeito de direcionamento é assimétrico. Converter de não-latim para latim ($lat2nat$) é altamente confiável e requer menor força de intervenção. Por outro vez, converter de latim para não-latim ($nat2lat$) é menos estável e frequentemente resulta em saídas que derivam para várias escritas não-latinas em vez de uma única escrita alvo. Isso implica que o Latim ocupa uma região "difusa" no espaço representacional, enquanto as escritas não-latinas formam clusters mais apertados e distintos.

3. Localização Mecanística de um "Portão de Mediação de Escrita"

• Portão Não-Latino Compacto: A análise causal revela que a geração de escrita não-latina é mediada por um conjunto pequeno e compacto de cabeças de atenção de camadas tardias (ex: L30H20, L30H23, L26H7 no Llama-3.1-8B). Realizar patching de apenas cinco dessas cabeças é suficiente para inverter a escrita de saída de latim para uma escrita nativa (ex: Devanagari) com altas taxas de sucesso.
• Geração Latina Difusa: Em contraste, a geração de escrita latina não depende de uma cabeça de atenção específica e localizada. Em vez disso, ela emerge de contribuições difusas e de baixa magnitude de muitas cabeças. Remover o "portão não-latino" faz com que o modelo retorne ao padrão de saída latina para uma parte dos prompts, sugerindo que o Latim é o substrato de reserva (fallback) do modelo.
• Agnosticismo Linguístico: As cabeças identificadas transferem-se entre línguas e sistemas de escrita não relacionados. Cabeças identificadas usando Hindi ou Árabe redirecionam com sucesso as escritas de saída em Russo (Cirílico), Marathi (Devanagari), Urdu (Perso-Árabe), Grego e Japonês, indicando um mecanismo agnóstico à língua para o roteamento de escrita.

Significância e Alegações

O artigo afirma fornecer a primeira análise unificada de como os LLMs internamente representam e medeiam múltiplas escritas. A descoberta central é que a escrita latina funciona como um substrato privilegiado para representações de superfície de linguagem em LLMs.

• Substrato Privilegiado: O modelo organiza a variação de escrita em torno de representações latentes compartilhadas alinhadas com o latim. Saídas não-latinas são produzidas via um mecanismo de roteamento dedicado, identificável e compacto (o "portão"), enquanto saídas latinas emergem das vias de processamento padrão e difusas da rede.
• Insight Mecanístico: O trabalho identifica um conjunto específico e transferível de cabeças de atenção que controlam causalmente a escolha da escrita, demonstrando que o roteamento de escrita é implementado por componentes agnósticos à língua, em vez de vias de processamento inteiramente separadas para cada escrita.
• Implicações para a Compreensão: Esses achados sugerem que a dominância da escrita latina nos dados de pré-treinamento moldou a geometria interna dos LLMs, criando uma arquitetura assimétrica onde o latim é o "estado fundamental" (ground state) e as escritas não-latinas requerem um portão ativo e localizado para serem geradas.

Os autores observam limitações, incluindo o foco em modelos de código aberto específicos e línguas com convenções de romanização estabelecidas, reconhecendo que modelos treinados em diferentes distribuições de dados ou modelos fechados podem exibir mecanismos qualitativamente diferentes.