Resumo Técnico: Além do Literal: Decompondo a Intenção Pragmática na Compreensão de Memes Multimodais

1. Definição do Problema

Os Grandes Modelos de Linguagem e Visão (LVLMs) atualmente têm dificuldade em interpretar memes multimodais e postagens sarcásticas quando a intenção comunicativa do autor diverge do conteúdo literal. Ao serem apresentados a um meme (ex: um cachorro alegre com a legenda "outra ótima segunda-feira"), os LVLMs tendem a gerar descrições literais dos elementos visuais e textuais em vez de inferir o significado pragmático subjacente (ex: reclamar do trabalho).

As abordagens existentes frequentemente tratam a intenção como um alvo de classificação ou geração de ponta a ponta treinado na representação completa fundida de imagem-texto. Isso mistura o sinal literal (o que é retratado/dito) com o sinal pragmático (por que foi dito). Consequentemente, quando as características literais (ex: um rosto sorridente ou palavras positivas) dominam a representação, o decodificador recorre ao "colapso literal", repetindo detalhes superficiais independentemente do rótulo de supervisão. Essa falha é mais aguda em cenários de alta divergência, onde o significado pretendido contrasta fortemente com a forma superficial.

2. Metodologia: Projeção de Intenção

Os autores propõem a Projeção de Intenção (Intent Projection), um framework projetado para separar estruturalmente os sinais literais e pragmáticos dentro de um único backbone de LVLM em três níveis: representação, saída e objetivo.

A. Nível de Representação: Projeção Pragmática

A inovação central é um módulo de projeção ortogonal que isola o resíduo pragmático da representação fundida.

• Mecanismo: O modelo computa um vetor fundido $c$ a partir dos resumos de imagem e texto. Em seguida, identifica o "subespaço literal" gerado pelos resumos unimodais da imagem ($u_v$) e do texto ($u_t$).
• Projeção: O vetor pragmático $\hat{h}_{prag}$ é computado projetando $c$ ortogonalmente no subespaço ortogonal às direções literais:
  $$\hat{h}_{prag} = (I - P_L)c$$
  onde $P_L$ é a matriz de projeção no subespaço literal. Isso remove as direções unimodais dominantes, deixando apenas a interação cross-modal que impulsiona a intenção.
• Condicionamento: $\hat{h}_{prag}$ é alimentado ao decodificador como um token suave (soft token). Adicionalmente, um Classificador de Afeto de Superfície Real prevê uma tag discreta a partir de um produto cartesiano de quatro vias do sentimento de superfície (pos/neg) e do sentimento real (pos/neg). Esta tag (ex: [affect: surface-pos, real-neg] para sarcasmo) serve como uma âncora simbólica persistente, complementando o vetor pragmático contínuo.

B. Nível de Saída: Cadeia de Raciocínio Estruturada

O modelo é treinado para externalizar a decomposição como uma cadeia explícita de três segmentos:

1. Observação Literal ($y_{lit}$): Descreve o que é mostrado e dito.
2. Inferência de Intenção ($y_{int}$): Resolve por que os dois foram pareados.
3. Intenção Final ($y^*$): Verbaliza a intenção comunicativa do autor.

C. Nível de Objetivo: Aprendizado por Reforço Contrastivo

O treinamento ocorre em duas etapas:

1. Etapa 1 (SFT): O Ajuste Fino Supervisionado (Supervised Fine-Tuning) ensina o formato da cadeia e a classificação de afeto. Os alvos são obtidos via autodestilação, onde o backbone gera a cadeia usando comentários da comunidade como contexto auxiliar (que não são visíveis durante a inferência).
2. Etapa 2 (GRPO): A Otimização de Política Relativa de Grupo (Group Relative Policy Optimization) é aplicada com uma recompensa contrastiva e consciente do literal. A função de recompensa $R(y)$ inclui:
   • Um termo que puxa a intenção final $y^*$ em direção à intenção de referência.
   • Uma penalidade contrastiva ($-\lambda_1 \text{sim}(y^*, y_{lit})$) que empurra explicitamente a resposta final para longe da própria descrição literal do modelo.
   • Recompensas para consistência de afeto e formatação da cadeia.
   • Mascaramento de Gradiente: As atualizações são aplicadas apenas a $y_{int}$ e $y^*$; $y_{lit}$ é mantido fixo para servir como um ponto de referência estável para o contraste.

3. Principais Contribuições

• Reenquadramento do Problema: Os autores identificam o "colapso literal" como o principal modo de falha na compreensão de memes e o reenquadram como um problema de decomposição literal-pragmática.
• Separação Arquitetural: Eles introduzem um método para projetar explicitamente para fora as direções literais unimodais da representação fundida, concedendo ao decodificador acesso direto a um resíduo pragmático.
• Otimização Contrastiva: Eles propõem um mecanismo de recompensa que penaliza a similaridade entre a intenção gerada e a descrição literal, visando diretamente a separação de sinais em vez de apenas a precisão da tarefa.
• Autodestilação: O framework utiliza a autodestilação para extrair alvos de intenção do próprio backbone, evitando a necessidade de anotação humana em larga escala da intenção.

4. Resultados Experimentais

O método foi avaliado em seis benchmarks (MemeReaCon, MemeCap, MET-Meme, MMSD2.0, MuSE, GOAT-Bench) utilizando três backbones de código aberto (LLaVA-OneVision-7B, Qwen3-VL-8B, InternVL3.5-8B).

• Ganhos de Desempenho: A Projeção de Intenção supera consistentemente fortes baselines de código aberto e reduz a lacuna para modelos proprietários de fronteira (ex: Gemini-3-Flash, GPT-5.4-mini).
  • Na tarefa PI-G (Geração de Intenção de Postagem), o Qwen3-VL de escala 8B com Projeção de Intenção alcançou 32,8% de ROUGE-L, reduzindo a lacuna para o Gemini-3-Flash proprietário em cerca de 60%.
• Regime de Alta Divergência: As melhorias mais significativas foram observadas em postagens com alta divergência literal-intenção ($\Delta(x)$). Enquanto os modelos baseline degradaram bruscamente em postagens de alta divergência, a Projeção de Intenção manteceu o desempenho, reduzindo a lacuna de desempenho entre baixa e alta divergência para menos de 5%.
• Estudos de Ablação:
  • Remover a recompensa contrastiva ($\lambda_1$) causou a maior queda de desempenho, particularmente em postagens de alta divergência, confirmando seu papel em prevenir o colapso literal.
  • Remover a cabeça de afeto degradou significamente o desempenho, validando a utilidade da tag simbólica discreta.
  • A etapa GRPO foi considerada indispensável; o SFT sozinho ensinou o formato, mas falhou em prevenir o colapso literal.

5. Significância e Alegações

O artigo afirma que a Projeção de Intenção mitiga com sucesso o fenômeno do "colapso literal" em LVLMs ao impor uma separação estrutural de sinais. Os autores asseveram que:

• O desmembramento explícito de sinais literais e pragmáticos no nível de representação é mais eficaz do que simplesmente escalar os parâmetros do modelo.
• O framework generaliza o princípio da separação literal-pragmática, sugerindo aplicabilidade para outras tarefas onde o significado do falante diverge da forma superficial (ex: ironia em diálogos, postura implícita em manchetes).
• A abordagem preenche a lacuna entre modelos de código aberto e proprietários especificamente em cenários que exigem compreensão pragmática profunda, em vez de apenas compreensão de nível superficial.

Limitações Reconhecidas: Os autores observam que seus dados são enviesados para a cultura da internet ocidental de língua inglesa, o framework introduz uma latência de inferência marginal devido às modificações estruturais, e os alvos de autodestilação dependem das capacidades latentes do backbone do modelo.