PRISM of Opinions: A Persona-Reasoned Multimodal Framework for User-centric Conversational Stance Detection

Este artigo apresenta o PRISM, um modelo multimodal centrado no usuário que supera as limitações de homogeneidade e pseudomodalidade existentes ao integrar personas longitudinais e raciocínio multimodal para melhorar a detecção de postura em conversas sociais, validado pelo novo conjunto de dados U-MStance.

O essencial

Imagine que você está em uma grande festa (o Twitter, o Reddit, o Facebook) onde as pessoas estão discutindo sobre política, carros ou criptomoedas. Algumas pessoas só falam, outras mostram fotos engraçadas ou memes, e todas têm personalidades muito diferentes.

O objetivo deste artigo é ensinar um computador a entender o que as pessoas realmente pensam nessas conversas, mesmo quando elas estão usando imagens, sarcasmo ou referências pessoais.

Aqui está a explicação simples, dividida em partes:

1. O Problema: A "Festa" estava sendo mal interpretada

Os pesquisadores dizem que os computadores atuais estão cometendo dois erros graves ao tentar entender essas conversas:

• Erro 1: A "Falsa Multimídia" (Pseudo-multimodality): Imagine que você está lendo uma conversa. O primeiro post tem uma foto engraçada, mas todos os comentários seguintes são apenas texto. Os computadores antigos tratavam a foto como se fosse apenas um cenário de fundo e ignoravam que os comentários também poderiam ter imagens ou que a foto inicial mudava o tom de tudo. É como tentar entender uma piada visual ignorando a reação das pessoas que estão rindo.
• Erro 2: A "Homogeneidade" (Tratar todos iguais): Os modelos antigos tratam todos os usuários como se fossem a mesma pessoa. Eles não percebem que o "João" é sempre otimista e usa ironia, enquanto a "Maria" é séria e direta. Se o computador não conhece a personalidade de quem está falando, ele pode interpretar mal uma crítica sarcástica como um elogio.

2. A Solução: O Novo Mapa (U-MStance)

Para consertar isso, os autores criaram um novo "mapa" (um conjunto de dados chamado U-MStance).

• É como um diário gigante de 40.000 conversas reais.
• A grande novidade? Eles anotaram quem disse o quê, incluindo fotos e comentários, e guardaram o histórico de cada pessoa. Agora, o computador sabe que "quem" está falando é tão importante quanto "o que" está sendo dito.

3. O Herói: PRISM (O Detetive de Personalidades)

Eles criaram um novo sistema chamado PRISM. Pense nele como um detetive superinteligente que usa três truques para entender a conversa:

• Truque 1: O Perfil Psicológico (Persona):
  Antes de analisar o comentário atual, o PRISM olha para o histórico da pessoa. Ele usa uma teoria famosa (os 5 grandes traços de personalidade) para criar um "perfil" do usuário.

  • Analogia: É como se o detetive dissesse: "Ah, este usuário é muito 'neurotico' (emocional) e 'aberto' a novas ideias. Quando ele posta uma foto de um carro com um sorriso torto, ele provavelmente está sendo irônico, não feliz."

• Truque 2: O Tradutor de Imagens (Grounding Racional):
  O PRISM não apenas "vê" a foto; ele pensa sobre ela. Ele usa uma técnica chamada "Cadeia de Pensamento" (Chain-of-Thought) para perguntar: "Por que essa foto foi postada aqui? O que ela quer dizer com o texto?"

  • Analogia: Em vez de apenas descrever "há um cachorro na foto", o PRISM diz: "O cachorro está olhando para o relógio porque a pessoa está reclamando que o tempo está passando rápido". Ele conecta a imagem ao contexto da conversa.

• Truque 3: O Treinamento Duplo (Reforço Mútuo):
  O PRISM é treinado para fazer duas coisas ao mesmo tempo:

  1. Adivinhar a opinião (Está a favor ou contra?).
  2. Escrever uma resposta que faria sentido para aquela pessoa.
  • Analogia: É como um ator que, para entender o papel, não apenas lê o roteiro, mas também ensaia a resposta do outro personagem. Ao tentar "falar como o usuário", o modelo entende melhor o que o usuário está sentindo.

4. O Resultado: Quem Ganhou?

Eles testaram o PRISM contra outros modelos famosos (como o GPT-4 e outros sistemas de IA).

• O Veredito: O PRISM venceu! Ele foi muito melhor em entender sarcasmo, ironia e opiniões complexas, especialmente quando havia fotos envolvidas.
• A Lição: Para entender o que as pessoas pensam na internet, você não pode olhar apenas para as palavras. Você precisa olhar para quem está falando (sua personalidade) e como as imagens e textos se misturam na conversa.

Resumo em uma frase

O PRISM é um novo sistema de IA que, em vez de tratar todos os usuários como robôs iguais, cria perfis de personalidade e analisa o contexto das fotos para entender de verdade se alguém está zangado, feliz ou apenas fazendo uma piada na internet.

Resumo técnico

Título: PRISM: Um Framework Multimodal Raciocinado por Persona para Detecção de Postura Centrada no Usuário em Conversas

1. O Problema

A detecção de postura (stance detection) em mídias sociais evoluiu da análise de texto isolado para contextos conversacionais multimodais. No entanto, o estado da arte atual enfrenta duas limitações fundamentais que impedem uma modelagem autêntica:

1. Pseudo-multimodalidade: Nas abordagens existentes (como no conjunto de dados MmMtCSD), os sinais visuais (imagens) aparecem apenas nas postagens originais, enquanto os comentários são tratados como texto puro. Isso não reflete a realidade das interações na web, onde usuários frequentemente respondem com imagens, memes ou vídeos.
2. Homogeneidade do Usuário: Os modelos tratam todos os usuários como entidades uniformes, ignorando traços pessoais, históricos de comportamento e tendências de discurso que moldam como uma pessoa expressa sua opinião. Isso leva a interpretações incorretas de posturas, especialmente em casos de sarcasmo ou opiniões conflitantes entre usuários com personalidades distintas.

2. Metodologia

Para abordar essas lacunas, os autores propõem duas inovações principais: um novo conjunto de dados e um novo framework de modelo.

A. Conjunto de Dados: U-MStance

• Descrição: O primeiro conjunto de dados centrado no usuário para detecção de postura conversacional multimodal.
• Escala: Contém mais de 40.000 comentários anotados cobrindo seis alvos do mundo real (Trump, Biden, Tesla, BMW, Costco e Bitcoin).
• Características Únicas:
  • Multimodalidade em ambas as postagens originais e nas respostas (comentários).
  • Incorporação de perfis de usuários, incluindo histórico de postagens e comentários anteriores.
  • Anotação rigorosa realizada por pesquisadores humanos com verificação de concordância (Kappa de Cohen = 0,64).

B. O Framework PRISM (Persona-Reasoned multImodal Stance Model)
O PRISM é um modelo baseado em LLMs (Large Language Models) multimodais que opera em três etapas principais:

1. Distilação de Persona do Usuário (Longitudinal User Persona Distillation):

   • O modelo extrai traços de personalidade estáveis de cada usuário a partir de seu histórico completo de atividades (posts e comentários).
   • Utiliza o modelo de Big Five (OCEAN) (Abertura, Conscienciosidade, Extroversão, Amabilidade e Neuroticismo).
   • Um LLM gera uma representação estruturada (pontuação de 1 a 5 para cada traço) que serve como contexto personalizado para a tarefa de detecção.

2. Fundamentação Racionalizada Cross-Modal (Rationalized Cross-Modal Grounding - RCMG):

   • Para entender o significado pragmático das imagens no contexto da conversa, o modelo utiliza um raciocínio em cadeia (Chain-of-Thought - CoT).
   • Fase 1: Gera uma descrição objetiva da imagem (conteúdo literal).
   • Fase 2: Infere a intenção retórica do usuário combinando a descrição objetiva, o texto da conversa e o contexto. Isso gera legendas "conscientes da intenção" que preenchem a lacuna semântica entre imagem e texto.

3. Reforço Mútuo de Tarefas (Mutual Task Reinforcement):

   • O modelo é otimizado conjuntamente para duas tarefas correlacionadas:
     • Tarefa Principal: Classificação da postura (Favor, Contra, Neutro).
     • Tarefa Auxiliar: Geração da resposta do usuário (texto da última fala).
   • A ideia central é que aprender a gerar a resposta do usuário força o modelo a compreender profundamente as pistas pragmáticas e as tendências do usuário, melhorando a precisão da classificação de postura.

3. Contribuições Principais

1. U-MStance: Criação do primeiro dataset que integra multimodalidade em toda a conversa (postagens e respostas) e inclui informações longitudinais do usuário, estabelecendo um novo padrão para benchmarks realistas.
2. Framework PRISM: Proposta de uma arquitetura que modela explicitamente a personalidade do usuário e utiliza raciocínio cross-modal para alinhar imagens e texto, superando a abordagem de "caixa preta" de modelos anteriores.
3. Validação Empírica: Demonstração de que a incorporação de perfis de usuário e fundamentação de intenção visual leva a ganhos significativos tanto na detecção de postura quanto na generalização entre diferentes tópicos.

4. Resultados Experimentais

Os experimentos foram conduzidos no dataset U-MStance, comparando o PRISM com baselines de texto puro, multimodais e grandes modelos de linguagem (LLMs).

• Desempenho Geral (In-Target): O PRISM alcançou um F1-médio de 68,49%, superando significativamente o melhor baseline multimodal (GPT-4 com 66,24%) e modelos especializados menores.
• Detecção Cross-Target (Generalização): Em cenários onde o modelo é treinado em um tópico e testado em outro (ex: treinar em Trump, testar em Biden), o PRISM manteve uma robustez superior, alcançando 55,45% de F1-médio, enquanto outros modelos sofreram degradação severa.
• Estudo de Ablação:
  • Remover a Persona causou queda de desempenho, confirmando a importância dos traços individuais.
  • Remover a Fundamentação Cross-Modal (RCMG) causou a maior degradação, evidenciando que a interpretação da intenção da imagem é crucial.
  • Remover o Reforço Mútuo reduziu a estabilidade, mostrando que a tarefa auxiliar de geração ajuda no aprendizado da representação de postura.
• Profundidade da Conversa: O modelo manteve desempenho estável mesmo em conversas profundas (≥5 turnos), especialmente para tópicos como Bitcoin e Costco, graças à capacidade de alinhar pistas visuais e textuais ao longo do tempo.

5. Significado e Conclusão

O trabalho PRISM representa um avanço significativo na área de Processamento de Linguagem Natural (PLN) e análise de mídias sociais. Ao mudar o foco de uma abordagem centrada no conteúdo para uma abordagem centrada no usuário, o framework reconhece que a postura não é apenas uma função do texto ou da imagem, mas uma expressão da identidade e histórico do indivíduo.

A principal implicação é que, para entender verdadeiramente a polarização e o discurso público, os sistemas de IA devem ser capazes de:

1. Processar multimodalidade em todo o fluxo conversacional.
2. Modelar a personalidade e o comportamento longitudinal dos usuários.
3. Realizar raciocínio pragmático sobre como elementos visuais são usados retoricamente.

O PRISM demonstra que a combinação de perfis de personalidade, raciocínio visual contextual e aprendizado multitarefa é essencial para a próxima geração de sistemas de detecção de postura, oferecendo maior precisão e generalização em ambientes complexos e dinâmicos.