Resumen Técnico: Interpretación y Mejora de Circuitos Emocionales en Modelos Grandes de Visión y Lenguaje mediante Flujo de Información Multimodal

1. Declaración del Problema

Los Modelos Grandes de Visión y Lenguaje (LVLMs) están evolucionando hacia agentes empáticos, pero siguen siendo propensos a alucinaciones emocionales. A diferencia de las alucinaciones de objetos, que resultan en errores fácticos, las alucinaciones emocionales implican generar narrativas lingüísticamente coherentes que contradicen el contenido afectivo de los estímulos visuales (por ejemplo, describir un rostro lloroso como expresando alegría). Esta desalineación corre el riesgo de violar normas sociales y límites éticos.

Las soluciones actuales dependen de técnicas de optimización de caja negra basadas en datos (por ejemplo, ajuste de instrucciones, aprendizaje por refuerzo) que adaptan el comportamiento al ajuste fino conductista sin garantizar una alineación interna. Además, la investigación existente sobre interpretabilidad mecánica en LVLMs se dirige predominantemente a la percepción de objetos, dejando la circuitería emocional interna inexplorada. Superar esta brecha se ve obstaculizada por dos desafíos principales:

1. Ausencia de Puntos de Referencia Visuales Contrafactuales: A diferencia del texto, aislar atributos emocionales en imágenes sin alterar el contenido narrativo o la semántica visual es difícil.
2. Ineficacia de Métricas Discretas: La expresión emocional es difusa y holística, manifestándose a través del tono de la generación de largo formato en lugar de tokens individuales, lo que hace que las métricas estándar de Predicción del Siguiente Token sean insuficientes.

2. Metodología

Los autores proponen un Marco de Atribución Causal basado en Vectores de Dirección adaptado para el razonamiento emocional descriptivo, seguido de una estrategia de intervención sin entrenamiento.

A. Extracción de Direcciones Emocionales

Para superar la falta de contrafactuales visuales, los autores construyen un conjunto de datos especializado utilizando contrastes estrictamente emparejados de emociones y neutralidad.

• Proceso: Para una imagen emocional $I_{emo}$, utilizan inteligencia artificial generativa (Google Nano Banana) para crear un contraparte neutral $I_{neu}$ que preserve la identidad, la composición y el estilo, pero elimine los indicadores emocionales (por ejemplo, neutralizar expresiones faciales, eliminar lágrimas).
• Vectores de Dirección: Calculan la diferencia en las activaciones del estado oculto entre las entradas emocionales y neutrales para extraer vectores de dirección globales ($S_l$) para emociones específicas (por ejemplo, tristeza, ira).

B. Descubrimiento de Circuitos Emocionales

Utilizando una estrategia de descubrimiento jerárquica, los autores rastrean el flujo multimodal de la emoción:

1. Identificación de Capas: Inyectan las direcciones emocionales extraídas en las capas durante la inferencia para identificar las capas críticas donde el impacto conductual (cambio en la tasa de aciertos) se maximiza.
2. Localización de Cabezales: Emplean Métricas de Restauración Latente basadas en la corrección de activaciones para localizar cabezas de atención específicas que se alinean con la dirección emocional.
3. Rastreo de Neuronas: Rastrean recursivamente el flujo de información desde las cabezas críticas hasta las neuronas MLP aguas arriba utilizando Corrección de Atribución para identificar el origen granular de las características emocionales.

C. El Mecanismo "Adaptar-Agregar-Ejecutar"

A través de este análisis, el artículo descubre un mecanismo distinto de tres etapas:

1. Adaptación (Capas Superficiales): Las características visuales experimentan una alineación de modalidades para cerrar la brecha semántica entre píxeles y texto.
2. Agregación (Capas Medias): El modelo activa Neuronas Disparadoras Contextuales y agrega señales en el token de Consulta a través de cabezas de atención específicas del sentimiento. Estas cabezas están selectivamente activas para categorías de emociones distintas (por ejemplo, cabezas específicas para sentimientos negativos).
3. Ejecución (Capas Profundas): El token de Consulta activa Neuronas de Estado Explícito y dirige la generación narrativa a través de vías generales de emoción que funcionan universalmente a través de diferentes emociones.

D. Intervención VEENA

Basándose en estos hallazgos, los autores introducen VEENA (Mejora de Emoción Visual y Aumento de Neuronas Emocionales), una intervención quirúrgica, sin entrenamiento y en tiempo de inferencia:

• Mejora de Emoción Visual (VEE): Regula el enrutamiento de información escalando los pesos de atención. Fortalece la atención $V \to Q$ (de Visual a Consulta) en capas aguas arriba para facilitar la agregación y la atención $V \to L$ (de Visual al Último Token) en capas aguas abajo para asegurar que la ejecución permanezca fundamentada en detalles visuales.
• Aumento de Neuronas Emocionales (ENA): Amplifica los niveles de activación de las neuronas MLP salientes a la emoción identificadas para consolidar la expresión semántica.

3. Resultados Clave

Se realizaron experimentos extensos en MER-UniBench, un punto de referencia integral que cubre Reconocimiento de Emociones Básicas, Análisis de Sentimientos y Reconocimiento de Emociones de Alta Definición.

• Mejora del Rendimiento: VEENA mejora significativamente el rendimiento en los 9 conjuntos de datos de MER-UniBench, elevando la tasa de aciertos promedio del 58,1% al 64,8% (+6,7%). En la tarea de vocabulario abierto desafiante (OV-MERD+), logra una ganancia del +9,2%.
• Sinergia: La combinación de VEE y ENA supera el uso de cualquiera de los componentes por separado, confirmando la sinergia de regular tanto el enrutamiento de información como la activación semántica.
• Fidelidad Causal: Los estudios de ablación muestran que las intervenciones aleatorias no logran reproducir estas ganancias, mientras que dirigirse a los circuitos específicos identificados (Top-10 cabezas y Top-30 neuronas) produce resultados de vanguardia con latencia mínima.
• Generalización: El método fue validado en diferentes arquitecturas de modelos (Qwen3-VL-4B/8B, LLaVA-OneVision-1.5-4B), demostrando que el mecanismo "Adaptar-Agregar-Ejecutar" es intrínseco a los LVLMs.
• Seguridad: Las evaluaciones en puntos de referencia generales (POPE, CHAIR, MME) indican que VEENA no induce olvido catastrófico ni alucinaciones universales, preservando las capacidades generales de visión y lenguaje mientras se dirige específicamente a las subredes emocionales.

4. Significado y Afirmaciones

El artículo afirma ser el primero en:

1. Localizar Circuitos Emocionales: Proporcionar un marco de atribución preciso basado en vectores que trasciende las limitaciones de las métricas discretas para localizar circuitos emocionales en LVLMs.
2. Desmitificar Mecanismos: Revelar el desacoplamiento funcional entre la agregación específica del sentimiento (capas medias) y la ejecución universal (capas profundas), desafiando la noción de que el procesamiento emocional es un bloque monolítico.
3. Habilitar Intervención Quirúrgica: Demostrar que las intervenciones en tiempo de inferencia, sin entrenamiento y basadas en la comprensión mecánica, pueden mitigar eficazmente las alucinaciones emocionales sin reentrenamiento, ofreciendo una alternativa más interpretable y confiable al ajuste fino de caja negra.

Los autores enfatizan que su trabajo se centra estrictamente en elucidar las vías internas para mejorar la fiabilidad y la seguridad, asegurando que las respuestas del modelo reflejen con precisión la realidad visual en lugar de generar contenido emocional engañoso.