Resumen Técnico: Negativo Antes que Positivo: Procesamiento Asimétrico de la Valencia en Modelos de Lenguaje Grandes

Declaración del Problema

Mientras que la interpretabilidad mecánica ha mapeado con éxito cómo los Modelos de Lenguaje Grandes (LLMs) codifican asociaciones fácticas y conceptos abstractos como direcciones lineales, el procesamiento interno de la valencia emocional sigue siendo poco comprendido. Estudios previos han dependido en gran medida del sondeo correlacional o del análisis conductual, dejando abiertas preguntas críticas:

1. ¿Poseen los LLMs estructuras internas dedicadas para la valencia, o dependen de la coincidencia superficial de tokens?
2. ¿Están las representaciones emocionales localizadas en etapas específicas de procesamiento o distribuidas difusamente?
3. ¿Reflejan las señales observadas un seguimiento genuino de la valencia o meramente la detección de temas (por ejemplo, reconocer la palabra "rechazado" sin comprender el sentimiento negativo)?

El trabajo existente (por ejemplo, Sofroniew et al., 2026) ha identificado emociones funcionales en modelos cerrados, pero carecía de localización causal y controles rigurosos para confusores temáticos. Este artículo aborda estas breves investigando si la valencia se procesa a través de un mecanismo causal específico por capa en LLMs de código abierto.

Metodología

Los autores emplean parcheo de activación y vectores de dirección en tres modelos de código abierto ajustados para instrucciones: Llama-3.2-1B, Qwen2.5-1.5B y Qwen2.5-3B. Estos modelos abarcan dos familias arquitectónicas (Atención de Múltiples Cabezas vs. Atención de Consulta Agrupada) y dos escalas.

Diseño Experimental

1. Diseño de Pares de Prompts: El estudio construye 100 pares de prompts limpios/corruptos por condición.

   • Condición de Buenas Noticias: El prompt limpio describe un resultado positivo; el prompt corrupto describe la misma situación de manera neutral.
   • Condición de Control Negativo: El prompt limpio describe un resultado negativo; el prompt corrupto es idéntico a la línea base corrupta de "Buenas Noticias".
   • Línea Base Corrupta Compartida: Este diseño asegura que cualquier diferencia en los efectos del parche sea atribuible únicamente a la valencia, no al tema ni a la redacción.
   • Dominios: Los prompts cubren academia, carrera y vida personal para asegurar que los hallazgos no sean específicos de un dominio.

2. Parcheo de Activación:

   • El modelo se ejecuta con entradas corruptas mientras las activaciones del flujo residual en capas específicas se reemplazan con activaciones en caché de ejecuciones limpias.
   • Métrica: Se calcula una puntuación de brecha de logits basada en la masa de probabilidad de tokens ancla positivos versus negativos predefinidos en la distribución del siguiente token.
   • Objetivo: Identificar la "capa causal superior" donde el parcheo restaura el comportamiento de salida limpio, indicando dónde se calcula la señal de valencia.

3. Prueba de Inversión de Valencia:

   • Para descartar la detección de temas, el estudio verifica si la brecha de puntuación cambia de signo cuando la valencia se invierte (Buenas vs. Negativa) mientras el tema permanece constante. Una representación genuina de la valencia debería producir efectos de signo opuesto (brechas anti-correlacionadas), mientras que la detección de temas produciría brechas correlacionadas.

4. Dirección Causal:

   • Se extrae un vector de dirección de valencia del flujo residual en la capa causal superior identificada (diferencia media entre activaciones limpias y corruptas).
   • Este vector se suma o resta a prompts emocionalmente neutrales para probar si desplaza causalmente la salida del modelo hacia una valencia positiva o negativa.

Resultados Clave

1. Seguimiento Direccional de la Valencia

Los tres modelos demostraron la capacidad de distinguir el contenido emocional en sus distribuciones de salida, con una precisión de signo que osciló entre 79% y 95% en todas las condiciones. La familia Qwen exhibió brechas de puntuación más agudas que Llama-1B.

2. Descarte de la Detección de Temas

La Prueba de Inversión de Valencia arrojó tasas de inversión de 69% (Llama-1B), 80% (Qwen-1.5B) y 85% (Qwen-3B). Estas tasas están significativamente por encima de la línea base de azar del 50%, confirmando que los modelos rastrean la valencia como una variable interna separable en lugar de simplemente reconocer palabras clave temáticas.

3. Localización Asimétrica en Profundidad (Hallazgo Central)

El estudio revela una clara disociación en profundidad en el procesamiento de la valencia:

• Valencia Negativa: Se localiza causalmente en capas tempranas (con un pico en el 14–27% de la profundidad del modelo). El parcheo en estas capas restaura fuertemente las salidas negativas.
• Valencia Positiva: Pica en capas medias a tardías (con un pico en el 53–66% de la profundidad del modelo).
• Significancia Estadística: Las pruebas U de Mann-Whitney confirman que esta disociación es altamente significativa en todos los modelos ($p < 10^{-10}$).
• Interpretación: Los resultados negativos parecen ser procesados por un "detector rápido y superficial" que depende de palabras léxicamente distintivas (por ejemplo, "rechazado"), mientras que los resultados positivos requieren una integración contextual más profunda para ensamblar una representación más rica.

4. Estructura Causal Asimétrica

• Control Negativo: Muestra una localización causal estrecha. Existe una fuerte correlación negativa ($\rho \approx -0.5$ a $-0.68$) entre la magnitud del parche y la fuerza de la respuesta, lo que indica que una sola capa dominante impulsa la respuesta negativa.
• Buenas Noticias: Muestra un procesamiento difuso. La correlación entre la magnitud del parche y la fuerza de la respuesta es débil o no significativa ($\rho \approx 0.1$ a $0.37$), lo que sugiere que la valencia positiva está distribuida a través de la red en lugar de enrutarse a través de una sola capa.

5. Controlabilidad

Los experimentos de dirección confirmaron que las capas identificadas codifican la valencia como una dirección lineal manipulable.

• Añadir la dirección de "buenas noticias" a prompts neutrales desplazó el 92–100% de las salidas hacia una valencia positiva.
• Restar la dirección desplazó las salidas hacia una valencia negativa.
• La relación entre la fuerza de dirección ($\alpha$) y el cambio en la puntuación de valencia ($\Delta$) fue monótonamente creciente, confirmando que el vector extraído es una característica lineal genuina.

Significado y Afirmaciones

El artículo afirma que la valencia emocional en los LLMs no es un estado interno monolítico, sino un cálculo asimétrico con vías causales distintas para entradas positivas y negativas.

• Perspectiva Mecanística: Los hallazgos sugieren que la valencia negativa y positiva no son meramente extremos opuestos de un solo eje, sino que se procesan mediante mecanismos computacionales distintos (detección temprana y localizada vs. integración tardía y distribuida).
• Potencial de Supervisión: Dado que la valencia negativa está localizada en capas tempranas y es predeciblemente controlable, representa un objetivo concreto para la supervisión basada en interpretabilidad. Monitorear estas capas tempranas podría permitir la intervención antes de que el modelo ensamble una respuesta completa.
• Generalizabilidad: La asimetría se mantiene a través de diferentes escalas de modelos y arquitecturas de atención (MHA vs. GQA), lo que sugiere que es una propiedad fundamental del procesamiento de valencia basado en transformadores en lugar de un artefacto de un diseño de modelo específico.

Los autores concluyen que comprender por qué estas polaridades requieren diferentes profundidades computacionales puede revelar aspectos fundamentales de cómo los transformadores codifican contenido semántico y emocional. Declaran explícitamente que no prevén impactos sociales negativos directos derivados de esta investigación, viéndola en cambio como un paso hacia implementaciones de modelos más seguras y interpretables.