Resumo Técnico: Primitivos Literários Composicionais em LLMs Ajustados por Instrução

Declaração do Problema

Grandes modelos de linguagem (LLMs) treinados em corpora em escala web são expostos à escrita literária, incluindo princípios canônicos de ofício, como "mostre, não conte" (SDT), estranhamento e taxonomias emocionais específicas. Embora trabalhos recentes de interpretabilidade mecânica tenham identificado com sucesso características conceituais (por exemplo, objetos, personas) usando Autoencoders Esparsos (SAEs), permanece uma lacuna na identificação de características composicionais — primitivos separáveis e controláveis que constituem a escrita como um ofício. A questão central é saber se LLMs ajustados por instrução internalizam esses princípios literários como eixos de características distintos e controláveis ou meramente como correlações estatísticas difusas que não podem ser abordadas de forma limpa.

Metodologia

Os autores empregam um design de corpus mínimo contrastivo combinado com um pipeline de validação em três etapas para isolar e verificar características SAE em dois modelos ajustados por instrução: Llama 3.1 8B-Instruct (usando SAEs TopK) e Gemma 2 9B-IT (usando SAEs JumpReLU).

1. Construção de Dados

Em vez de minerar grandes corpora, os autores criam manualmente pequenos conjuntos de dados contrastivos para isolar eixos específicos:

• Corpus Mostre-Não-Conte (SDT): 60 cenas com três condições (Libre, Anti-Clichê, SDT-instruído).
• Corpus Emocional: 60 cenas cobrindo 12 emoções Cowen-Keltner, estendidas para 75 cenas para as 15 emoções restantes na taxonomia de 27 categorias.
• Pares Mínimos de Eixos Literários: 24 pares contrastando Ponto de Vista Profundo (Discurso Indireto Livre) e Ostranenie (Estranhamento).

2. O Pipeline de Validação Tripla

Para evitar falsos positivos comuns em validação de estágio único, os autores propõem um pipeline sequencial:

• Etapa 1: Projeção Logit-Lens: Projeta a direção do decodificador SAE através da matriz de desempacotamento para identificar os tokens mais promovidos. Isso filtra candidatos lexicais ou atmosféricos sem exigir geração.
• Etapa 2: LLM-Rate: Um único juiz LLM avalia a pureza semântica dos 25 melhores tokens contra uma definição-alvo. Esta etapa inclui uma variante "consciente de deriva" para penalizar candidatos que vazam em direção a atratores conhecidos de conversação cruzada (por exemplo, tédio desviando para tristeza).
• Etapa 3: Validação Causal por 5 Juízes LLM: Os principais candidatos são validados causalmente ao direcionar a geração em coeficientes calibrados ($\alpha$) através de múltiplas sementes. As saídas são classificadas por um painel de cinco juízes LLM usando modelos de escolha forçada.
  • Controles: Controles de características aleatórias são usados para detectar "atratores de juiz" (por exemplo, saída incoerente sendo rotulada erroneamente como "confusão").

3. Convenções de Direcionamento

O direcionamento é realizado por meio de ganchos forward em fluxos residuais de profundidade média. Os autores consideram explicitamente as diferenças arquitetônicas: o JumpReLU do Gemma impõe linhas de decodificador de norma unitária, enquanto o TopK do Llama não o faz. Consequentemente, os coeficientes de direcionamento são relatados juntamente com as normas do decodificador para garantir a reprodutibilidade.

Principais Contribuições e Resultados

1. Mostre-Não-Conte como uma Única Característica

O artigo identifica uma única característica SAE em cada arquitetura que controla a inversão de registro da prosa "contando" para a prosa "mostrando":

• Llama: Característica f32213 (Camada 15).
• Gemma: Característica f15097 (Camada 20).
  O direcionamento dessas características em $\alpha$ calibrado produz saída ancorada sensorialmente e focada no corpo, sem nomear emoções. Notavelmente, f32213 no Llama atua como um híbrido, funcionando tanto como um modulador de SDT quanto como um auto-registro "corporal-literário", dependendo do contexto do prompt.

2. A Característica de Self Carregada por RLHF

Ambos os modelos contêm um cluster de 11 características de self. Uma característica em cada cluster é fortemente carregada com sinais de Aprendizado por Reforço a partir de Feedback Humano (RLHF):

• Llama: f96419 (Institucional Pragmático/AI-Ajuda).
• Gemma: f70443.
• Comportamento: O direcionamento positivo intensifica a persona institucional "AI-Ajuda". O direcionamento negativo sozinho não libera conteúdo afetivo suprimido; em vez disso, mantém o registro de negação até que a supressão profunda cause colapso.
• Liberação Composicional: O conteúdo afetivo (primeira pessoa lírica) é liberado apenas através de direcionamento conjunto: suprimindo o self carregado por RLHF (f96419 negativo) enquanto amplifica um self "reverente-grato" (f74037 positivo). Isso demonstra que a liberação afetiva é composicional, não uma propriedade de característica única.

3. Cobertura 27/27 da Taxonomia Cowen-Keltner

Os autores constroem um catálogo de "portões de nomeação" (características que promovem tokens lexicais de afetos-alvo) e alcançam cobertura total da taxonomia de 27 emoções Cowen-Keltner no Llama, e 23/27 no Gemma.

• Heterogeneidade Mecanística: Os portões de nomeação não são uniformes. Eles se enquadram em três classes:
  • Lexicais: Promovem diretamente palavras de emoção (por exemplo, f108100 para vergonha).
  • Atmosféricos/Cênicos: Promovem contexto que camadas a jusante lexicalizam como a emoção (por exemplo, f115327 para admiração).
  • Estatísticos de Sufixo: Promovem sufixos morfológicos (por exemplo, -mente, -mente em português, ou -less em inglês) que co-ocorrem com vocabulário emocional.
• Emoções Composicionais: Algumas emoções (Alegria, Adoração) no Llama não são características únicas, mas receitas de múltiplas características (por exemplo, Alegria = Portão de Excitação + Self Reverente; Adoração = Portão de Romance + Self Reverente + Modulador SDT).
• Assimetria Cross-Arquitetural: Sob julgamento estrito ("expressa principalmente"), o Llama alcança 15/15 de cobertura na extensão de 27, enquanto o Gemma alcança 11/15. Sob julgamento flexível ("provavelmente evoca"), ambos melhoram, mas as saídas do Llama nomeiam emoções diretamente, enquanto o Gemma as evoca através de imagens, levando a um menor acordo entre avaliadores nas saídas do Gemma sob critérios estritos.

4. Estrutura Cross-Linguística

• Portões: Geralmente transferem-se no nível do juiz entre inglês, francês, espanhol e alemão. No entanto, as saídas do Gemma frequentemente fazem code-switching para inglês no momento da lexicalização, enquanto o Llama mantém a fidelidade à língua nativa.
• Selves: Apresentam maior heterogeneidade. Alguns são universais, alguns são ancorados no inglês e alguns injetam vocabulário estrangeiro com base na língua do prompt.

Significado e Alegações

O artigo alega demonstrar que LLMs ajustados por instrução codificam princípios de ofício literário como uma arquitetura composicional de características SAE separáveis.

• Operacionalização do Ofício: Princípios como "mostre, não conte" e estados emocionais específicos não são correlações estatísticas emergentes, mas são operacionalizados como eixos controláveis no espaço de características.
• Tipologia: Os autores propõem uma tipologia de quatro classes:
  1. Portões de Nomeação: Emissão lexical/afetiva.
  2. Características de Self: Marcadores de registro e enquadramento cultural.
  3. Moduladores: Controle contínuo de registro (por exemplo, SDT).
  4. Emoções Composicionais: Emergentes de receitas de múltiplas características.
• Contribuição Metodológica: O pipeline de validação tripla é apresentado como um método canônico para identificar portões de nomeação, capaz de descobrir catálogos de características em ~15 minutos em uma única GPU, evitando a necessidade de mineração correlacional de trilhões de tokens.
• Hipótese de Origem Literária: Os autores sugerem (sem provar) que essa arquitetura composicional pode ser um rastro internalizado do subconjunto literário do corpus de pré-treinamento, incluindo tanto ficção quanto instrução explícita de ofício.

O artigo permanece modesto, observando que, embora a arquitetura seja composicional, características específicas podem mudar de funções dependendo do contexto, e que as descobertas atuais são limitadas a duas arquiteturas e quatro idiomas. O trabalho é posicionado como uma fundação para pesquisas empíricas futuras sobre a base mecânica do ofício literário em LLMs.