Resumo Técnico: DimStance: Conjuntos de Dados Multilíngues para Análise de Postura Dimensional

Declaração do Problema

A detecção de postura tradicional é uma tarefa bem estabelecida que classifica a atitude de um autor em relação a um alvo específico em rótulos categóricos discretos (ex: Favorável, Contra, Neutro). No entanto, essa abordagem categórica falha em capturar os estados afetivos sutis que subjazem às expressões de postura. As posturas raramente são puramente "a favor" ou "contra"; mesmo expressões que compartilham o mesmo rótulo categórico podem variar significamente em tom emocional e intensidade. Os recursos existentes carecem de representações dimensionais anotadas por humanos, limitando a capacidade de analisar por que as opiniões se endurecem ou de mitigar a polarização em debates sobre questões complexas como mudanças climáticas e política. Além disso, há uma escassez de recursos de postura para línguas de baixos recursos.

Metodologia

Os autores apresentam o DIMSTANCE, o primeiro recurso de postura dimensional anotado com pontuações contínuas de Valência-Excitação (VA - Valence-Arousal). A metodologia abrange a construção do conjunto de dados, a formulação da tarefa e a avaliação do modelo.

Construção do Conjunto de Dados

• Escopo: O conjunto de dados compreende 11.746 aspectos de alvo através de 7.365 textos em cinco idiomas: Inglês, Alemão, Chinês, Pidgin Nigeriano e Suaíli.
• Domínios: Os dados cobrem política e proteção ambiental.
• Fontes:
  • Inglês: EZ-STANCE e Reddit (Proteção Ambiental).
  • Alemão: Arquivo Wahl-O-Mat (Política).
  • Chinês: Plataforma Threads (Proteção Ambiental).
  • Pidgin Nigeriano e Suaíli: Plataforma X (Política).
• Processo de Anotação:
  • Os aspectos de alvo foram extraídos usando LLMs e verificados via voto majoritário por cinco falantes nativos por idioma.
  • Os anotadores avaliaram cada par alvo-texto em duas escalas: Valência (1 = altamente negativa a 9 = altamente positiva) e Excitação/Arousal (1 = altamente não excitado a 9 = altamente excitado).
  • Os rótulos de ouro (gold labels) finais são a média das avaliações de cinco anotadores.
• Controle de Qualidade: A confiabilidade foi medida usando o Erro Quadrático Médio (RMSE). Os resultados indicam que as anotações de excitação são geralmente menos confiáveis do que as de valência, consistindo com estudos anteriores.

Formulação da Tarefa

O artigo introduz a Regressão de Postura Dimensional, uma tarefa que exige que os sistemas prevejam pontuações VA contínuas para um determinado aspecto de alvo dentro de um texto, em vez de selecionar uma classe discreta.

Configuração Experimental

Os autores avaliaram três grupos de modelos:

1. Regressores PLM: Modelos pré-treinados multilíngues (RemBERT, LaBSE, XLM-R) com uma cabeça de regressão, otimizados via Erro Quadrático Médio (MSE).
2. LLMs Fechados (Prompting): Zero-shot e few-shot prompting de modelos de código fechado (GPT-5 mini, Gemini 2.5 Flash, Kimi K2) para gerar pontuações numéricas.
3. Regressores LLM (Fine-tuning): LLMs de código aberto (Mistral-3, Phi-4, Llama-3.3, Qwen-2.5) adaptados via QLoRA de 4 bits com uma cabeça de regressão.

O desempenho foi medido usando RMSE no espaço VA, calculado como a distância euclidiana entre os pares previstos e os de ouro (V, A).

Principais Resultados

Análise do Conjunto de Dados

• Distribuição VA: Em todos os idiomas, os dados exibem uma relação em forma de U entre valência e excitação; a excitação tende a ser mais baixa perto da valência neutra e aumenta em direção aos extremos negativos e positivos.
• Variações Cross-Lingual:
  • Inglês (Proteção Ambiental): Distribuição de valência equilibrada; alta excitação associada tanto a posturas positivas quanto negativas.
  • Alemão (Política): Enviesado para valência positiva (69%), provavelmente refletindo conteúdo gerado por partidos.
  • Chinês (Proteção Ambiental): Distribuição compacta com expressões suaves; os alvos frequentemente se agrupam em torno de uma valência de faixa média.
  • Pidgin Nigeriano e Suaíli (Política): Dominado por valência negativa (aprox. 63-64%) e alta excitação, refletindo a natureza contenciosa do discurso eleitoral. Os dados de Suaíli contêm um número notável de exemplos tóxicos e exibem a maior excitação média.

Desempenho dos Modelos

• LLMs com Fine-tuning: Geralmente superaram tanto os LLMs via prompting quanto os regressores PLM, particularmente os modelos de maior escala (70B).
• LLMs via Prompting: Alcançaram resultados competitivos, servindo como uma alternativa eficiente em termos de dados. No entanto, produziram distribuições VA "em grade" (discretas) devido à geração baseada em tokens, o que dificultou lidar com distribuições compactas (ex: Chinês).
• Desempenho por Idioma:
  • Chinês: Obteve consistentemente o melhor desempenho entre os modelos, atribuído à sua distribuição VA concentrada na região neutra.
  • Suaíli: Mostrou o menor desempenho, destacando os desafios em línguas de baixos recursos.
  • Pidgin Nigeriano: Teve um desempenho melhor que o Suaíli, possivelmente devido às suas características semelhantes ao inglês.
• Sensibilidade ao Prompt: O desempenho dos LLMs fechados foi altamente sensível à formulação do prompt. Aumentar o número de exemplos few-shot (até 16 shots) geralmente melhorou o desempenho, com o Kimi K2 apresentando os melhores resultados gerais entre os modelos via prompting.

Significância e Contribuições

O artigo reivindica as seguintes contribções:

1. Primeiro Recurso Dimensional: A introdução do DIMSTANCE, o primeiro conjunto de dados multilíngue para análise de postura com pontuações VA contínuas anotadas por humanos, cobrindo tanto línguas de altos quanto de baixos recursos.
2. Novo Framework de Tarefa: A formulação da regressão de postura dimensional, integrando frameworks de ciência afetiva à detecção de postura para permitir uma análise granular.
3. Benchmarking: Provisão de resultados de linha de base (baseline) entre regressores PLM, LLMs via prompting e regressores LLM com fine-tuning, estabelecendo uma fundação para pesquisas futuras.

Os autores enfatizam que este recurso fornece uma base fundamental para a análise de postura consciente de emoções e multilíngue. Ao ir além dos rótulos categóricos, o trabalho facilita uma compreensão mais profunda dos estados afetivos que impulsionam a opinião pública. No entanto, o artigo nota modestamente limitações, incluindo a dificuldade inerente de anotar a excitação, as variações culturais na interpretação de VA e o risco de viés em conjuntos de dados com distribuições de valência enviesadas (ex: Pidgin Nigeriano). Os autores proíbem estritamente o uso comercial ou governamental dos dados para evitar possíveis usos indevidos, como a perseguição de indivíduos com base em posturas inferidas.