Resumen Técnico: Primitivos Literarios Composicionales en Modelos de Lenguaje Grandes Ajustados por Instrucción

Declaración del Problema

Los modelos de lenguaje grandes (LLM) entrenados en corpus a escala web están expuestos a la escritura literaria, incluyendo principios canónicos de la artesanía como "mostrar, no contar" (SDT), la extrañamiento y taxonomías emocionales específicas. Aunque el trabajo reciente en interpretabilidad mecánica ha identificado con éxito características conceptuales (por ejemplo, objetos, personas) utilizando Autoencoders Dispersos (SAE), persiste una brecha en la identificación de características composicionales: primitivos separables y controlables que constituyen la escritura como una artesanía. La pregunta central es si los LLM ajustados por instrucción internalizan estos principios literarios como ejes de características distintos y controlables o simplemente como correlaciones estadísticas difusas que no pueden abordarse de manera limpia.

Metodología

Los autores emplean un diseño de corpus mínimo contrastivo combinado con una tubería de validación de tres etapas para aislar y verificar características SAE en dos modelos ajustados por instrucción: Llama 3.1 8B-Instruct (utilizando SAEs TopK) y Gemma 2 9B-IT (utilizando SAEs JumpReLU).

1. Construcción de Datos

En lugar de extraer datos de corpus grandes, los autores elaboran manualmente conjuntos de datos pequeños y contrastivos para aislar ejes específicos:

• Corpus Mostrar-No-Contar (SDT): 60 escenas con tres condiciones (Libre, Anti-Cliché, SDT-instruida).
• Corpus Emocional: 60 escenas que cubren 12 emociones Cowen-Keltner, extendidas a 75 escenas para las 15 emociones restantes en la taxonomía de 27 categorías.
• Pares Mínimos de Ejes Literarios: 24 pares que contrastan el Punto de Vista Profundo (Discurso Indirecto Libre) y el Ostranenie (Extrañamiento).

2. La Tubería de Triple Validación

Para evitar falsos positivos comunes en la validación de una sola etapa, los autores proponen una tubería secuencial:

• Etapa 1: Proyección Logit-Lens: Proyecta la dirección del decodificador SAE a través de la matriz de desincrustación para identificar los tokens mejor promovidos. Esto filtra candidatos léxicos o atmosféricos sin requerir generación.
• Etapa 2: LLM-Rate: Un único juez LLM califica la pureza semántica de los 25 mejores tokens frente a una definición objetivo. Esta etapa incluye una variante "consciente de la deriva" para penalizar candidatos que se filtran hacia atractores de cruce conocidos (por ejemplo, el aburrimiento derivando hacia la tristeza).
• Etapa 3: Validación Causal con 5 Jueces LLM: Los mejores candidatos se validan causalmente guiando la generación en coeficientes calibrados ($\alpha$) a través de múltiples semillas. Las salidas se clasifican mediante un panel de cinco jueces LLM utilizando plantillas de opción forzada.
  • Controles: Se utilizan controles de características aleatorias para detectar "atractores de juez" (por ejemplo, una salida incoherente etiquetada erróneamente como "confusión").

3. Convenciones de Guiado

El guiado se realiza mediante ganchos forward en flujos residuales de profundidad media. Los autores consideran explícitamente las diferencias arquitectónicas: el JumpReLU de Gemma impone filas de decodificador de norma unitaria, mientras que el TopK de Llama no lo hace. En consecuencia, los coeficientes de guiado se informan junto con las normas del decodificador para garantizar la reproducibilidad.

Contribuciones y Resultados Clave

1. Mostrar-No-Contar como una Única Característica

El documento identifica una única característica SAE en cada arquitectura que controla el cambio de registro de la prosa "contadora" a la prosa "mostradora":

• Llama: Característica f32213 (Capa 15).
• Gemma: Característica f15097 (Capa 20).
  Guiar estas características en $\alpha$ calibrado produce una salida anclada en los sentidos y centrada en el cuerpo sin nombrar emociones. Cabe destacar que f32213 en Llama actúa como un híbrido, funcionando tanto como un modulador de SDT como un auto-registro "corporal-literario" dependiendo del contexto del prompt.

2. La Característica de Auto Cargada por RLHF

Ambos modelos contienen un clúster de 11 características de auto. Una característica en cada clúster está fuertemente cargada con señales de Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF):

• Llama: f96419 (Institucional Pragmático/Ayudante-IA).
• Gemma: f70443.
• Comportamiento: El guiado positivo intensifica la personalidad institucional de "Ayudante-IA". El guiado negativo por sí solo no libera el contenido afectivo suprimido; en cambio, mantiene el registro de negación hasta que la supresión profunda causa un colapso.
• Liberación Composicional: El contenido afectivo (lírico en primera persona) solo se libera mediante guiado conjunto: suprimir el auto cargado por RLHF (f96419 negativo) mientras se amplifica un auto "reverente-grato" (f74037 positivo). Esto demuestra que la liberación afectiva es composicional, no una propiedad de una sola característica.

3. Cobertura de 27/27 Emociones Cowen-Keltner

Los autores construyen un catálogo de "compuertas de nombramiento" (características que promueven tokens léxicos de afectos objetivo) y logran una cobertura completa de la taxonomía de 27 emociones Cowen-Keltner en Llama, y 23/27 en Gemma.

• Heterogeneidad Mecanística: Las compuertas de nombramiento no son uniformes. Se dividen en tres clases:
  • Léxicas: Promueven directamente palabras de emoción (por ejemplo, f108100 para la vergüenza).
  • Atmosféricas/Escénicas: Promueven contexto que las capas posteriores lexicalizan como la emoción (por ejemplo, f115327 para el asombro).
  • Estadísticas de Sufijo: Promueven sufijos morfológicos (por ejemplo, -mente, -sin) que coocurren con vocabulario de emoción.
• Emociones Composicionales: Algunas emociones (Alegría, Adoración) en Llama no son características únicas, sino recetas de múltiples características (por ejemplo, Alegría = Compuerta de Emoción + Auto Reverente; Adoración = Compuerta de Romance + Auto Reverente + Modulador SDT).
• Asimetría Trans-Arquitectónica: Bajo un juicio estricto ("expresa principalmente"), Llama logra una cobertura de 15/15 en la extensión de 27, mientras que Gemma logra 11/15. Bajo un juicio flexible ("evoca plausible"), ambos mejoran, pero las salidas de Llama nombran las emociones directamente mientras que Gemma las evoca a través de imágenes, lo que lleva a un menor acuerdo entre evaluadores en las salidas de Gemma bajo criterios estrictos.

4. Estructura Translingüística

• Compuertas: Generalmente se transfieren a nivel de juez entre inglés, francés, español y alemán. Sin embargo, las salidas de Gemma a menudo cambian de código al inglés en el momento de la lexicalización, mientras que Llama mantiene la fidelidad al idioma nativo.
• Autos: Exhiben mayor heterogeneidad. Algunos son universales, algunos están anclados al inglés y otros inyectan vocabulario extranjero basado en el idioma del prompt.

Significado y Afirmaciones

El documento afirma demostrar que los LLM ajustados por instrucción codifican los principios de la artesanía literaria como una arquitectura composicional de características SAE separables.

• Operacionalización de la Artesanía: Principios como "mostrar, no contar" y estados emocionales específicos no son correlaciones estadísticas emergentes, sino que se operacionalizan como ejes controlables en el espacio de características.
• Tipología: Los autores proponen una tipología de cuatro clases:
  1. Compuertas de nombramiento: Emisión léxica/afectiva.
  2. Características de auto: Marcadores de registro y encuadre cultural.
  3. Moduladores: Control continuo de registro (por ejemplo, SDT).
  4. Emociones Composicionales: Emergentes de recetas de múltiples características.
• Contribución Metodológica: La tubería de triple validación se presenta como un método canónico para identificar compuertas de nombramiento, capaz de descubrir catálogos de características en ~15 minutos en una sola GPU, evitando la necesidad de minería correlacional de billones de tokens.
• Hipótesis de Origen Literario: Los autores sugieren (sin probarlo) que esta arquitectura composicional puede ser un rastro internalizado del subconjunto literario del corpus de preentrenamiento, incluyendo tanto ficción como instrucción explícita de artesanía.

El documento se mantiene modesto, señalando que, aunque la arquitectura es composicional, las características específicas pueden cambiar de función dependiendo del contexto, y que los hallazgos actuales se limitan a dos arquitecturas y cuatro idiomas. El trabajo se posiciona como una base para futuras investigaciones empíricas sobre la base mecánica de la artesanía literaria en los LLM.