Resumo Técnico: Interpretação e Aprimoramento de Circuitos Emocionais em Grandes Modelos Visuais-Linguísticos via Fluxo de Informação Cross-Modal

1. Declaração do Problema

Os Grandes Modelos Visuais-Linguísticos (LVLMs) estão evoluindo para agentes empáticos, mas permanecem propensos a alucinações emocionais. Diferentemente das alucinações de objetos, que resultam em erros factuais, as alucinações emocionais envolvem a geração de narrativas linguisticamente coerentes que contradizem o conteúdo afetivo dos estímulos visuais (por exemplo, descrever um rosto chorando como expressando alegria). Esse desalinhamento corre o risco de violar normas sociais e limites éticos.

As soluções atuais dependem de técnicas de otimização baseadas em dados e de caixa-preta (por exemplo, ajuste de instruções, aprendizado por reforço) que se adequam ao ajuste fino behaviorista sem garantir alinhamento interno. Além disso, a pesquisa existente em interpretabilidade mecânica em LVLMs visa predominantemente a percepção de objetos, deixando a circuitaria emocional interna inexplorada. A superação dessa lacuna é dificultada por dois desafios principais:

1. Ausência de Benchmarks Visuais Contrafactuais: Diferentemente do texto, isolar atributos emocionais em imagens sem alterar o conteúdo narrativo ou a semântica visual é difícil.
2. Ineficácia de Métricas Discretas: A expressão emocional é difusa e holística, manifestando-se através do tom de geração de longo prazo em vez de tokens únicos, tornando as métricas padrão de Previsão do Próximo Token insuficientes.

2. Metodologia

Os autores propõem um Framework de Atribuição Causal Baseado em Vetores de Direção adaptado para o raciocínio emocional descritivo, seguido por uma estratégia de intervenção sem treinamento.

A. Extração de Direção Emocional

Para superar a falta de contrafactuais visuais, os autores constroem um conjunto de dados especializado usando contrastes emocionais e neutros estritamente pareados.

• Processo: Para uma imagem emocional $I_{emo}$, eles utilizam IA generativa (Google Nano Banana) para criar um contraparte neutro $I_{neu}$ que preserva identidade, composição e estilo, mas remove indicadores emocionais (por exemplo, neutralizando expressões faciais, removendo lágrimas).
• Vetores de Direção: Eles calculam a diferença nas ativações do estado oculto entre as entradas emocionais e neutras para extrair vetores de direção globais ($S_l$) para emoções específicas (por exemplo, tristeza, raiva).

B. Descoberta de Circuitos Emocionais

Usando uma estratégia de descoberta hierárquica, os autores traçam o fluxo cross-modal da emoção:

1. Identificação de Camadas: Eles injetam direções emocionais extraídas nas camadas durante a inferência para identificar camadas críticas onde o impacto comportamental (mudança na taxa de acerto) é maximizado.
2. Localização de Cabeças: Eles empregam Métricas de Restauração Latente baseadas em patching de ativação para localizar cabeças de atenção específicas que se alinham com a direção emocional.
3. Rastreamento de Neurônios: Eles rastreiam recursivamente o fluxo de informação das cabeças críticas de volta para neurônios MLP a montante usando Patching de Atribuição para identificar a origem granular dos recursos emocionais.

C. O Mecanismo "Adaptar-Agregação-Executar"

Através dessa análise, o artigo revela um mecanismo distinto de três etapas:

1. Adaptação (Camadas Rasas): Recursos visuais passam por alinhamento de modalidade para fechar a lacuna semântica entre pixels e texto.
2. Agregação (Camadas Intermediárias): O modelo ativa Neurônios Gatilho Contextuais e agrega sinais no token de Consulta via cabeças de atenção específicas de sentimento. Essas cabeças são seletivamente ativas para categorias de emoções distintas (por exemplo, cabeças específicas para sentimentos negativos).
3. Execução (Camadas Profundas): O token de Consulta ativa Neurônios de Estado Explícito e direciona a geração narrativa via caminhos gerais de emoção que funcionam universalmente entre diferentes emoções.

D. Intervenção VEENA

Com base nessas descobertas, os autores introduzem a VEENA (Aprimoramento de Emoção Visual e Augmentação de Neurônios Emocionais), uma intervenção cirúrgica, sem treinamento e em tempo de inferência:

• Aprimoramento de Emoção Visual (VEE): Regula o roteamento de informação escalando pesos de atenção. Ele fortalece a atenção $V \to Q$ (Visual para Consulta) em camadas a montante para facilitar a agregação e a atenção $V \to L$ (Visual para Último Token) em camadas a jusante para garantir que a execução permaneça fundamentada em detalhes visuais.
• Augmentação de Neurônios Emocionais (ENA): Amplifica os níveis de ativação dos neurônios MLP salientes à emoção identificados para consolidar a expressão semântica.

3. Resultados Principais

Experimentos extensivos foram conduzidos no MER-UniBench, um benchmark abrangente que cobre Reconhecimento de Emoções Básicas, Análise de Sentimento e Reconhecimento de Emoções de Alta Granularidade.

• Melhoria de Desempenho: A VEENA melhora significativamente o desempenho em todos os 9 conjuntos de dados do MER-UniBench, elevando a taxa média de acerto de 58,1% para 64,8% (+6,7%). Na tarefa desafiadora de vocabulário aberto (OV-MERD+), ela alcança um ganho de +9,2%.
• Sinergia: A combinação de VEE e ENA supera o uso de qualquer componente isolado, confirmando a sinergia de regular tanto o roteamento de informação quanto a ativação semântica.
• Fidelidade Causal: Estudos de ablação mostram que intervenções aleatórias falham em reproduzir esses ganhos, enquanto o direcionamento dos circuitos específicos identificados (Top-10 cabeças e Top-30 neurônios) produz resultados state-of-the-art com latência mínima.
• Generalização: O método foi validado em diferentes arquiteturas de modelos (Qwen3-VL-4B/8B, LLaVA-OneVision-1.5-4B), demonstrando que o mecanismo "Adaptar-Agregação-Executar" é intrínseco aos LVLMs.
• Segurança: Avaliações em benchmarks gerais (POPE, CHAIR, MME) indicam que a VEENA não induz esquecimento catastrófico ou alucinações universais, preservando capacidades gerais visuais-linguísticas enquanto visa especificamente sub-redes emocionais.

4. Significado e Alegações

O artigo alega ser o primeiro a:

1. Localizar Circuitos Emocionais: Fornecer um framework de atribuição preciso, baseado em vetores, que transcende as limitações de métricas discretas para localizar circuitos emocionais em LVLMs.
2. Desmistificar Mecanismos: Revelar o desacoplamento funcional entre agregação específica de sentimento (camadas intermediárias) e execução universal (camadas profundas), desafiando a noção de que o processamento emocional é um bloco monolítico.
3. Habilitar Intervenção Cirúrgica: Demonstrar que intervenções sem treinamento e em tempo de inferência baseadas em compreensão mecânica podem mitigar efetivamente alucinações emocionais sem retreinamento, oferecendo uma alternativa mais interpretável e confiável ao ajuste fino de caixa-preta.

Os autores enfatizam que seu trabalho foca estritamente em elucidar caminhos internos para aprimorar a confiabilidade e a segurança, garantindo que as respostas do modelo reflitam com precisão a realidade visual em vez de gerar conteúdo emocional enganoso.