The Moralization Corpus: Frame-Based Annotation and Analysis of Moralizing Speech Acts across Diverse Text Genres

1. Problema e Motivação

O artigo aborda a lacuna na modelagem computacional de moralizações (moralizations). Embora existam estudos sobre a previsão de valores morais em texto ou a análise de viés moral em Grandes Modelos de Linguagem (LLMs), a estrutura pragmática das moralizações – ou seja, como valores morais são estrategicamente invocados em discursos argumentativos para justificar demandas ou posições – ainda não foi sistematicamente modelada.

As moralizações são complexas e frequentemente implícitas, envolvendo a conexão entre valores morais, demandas (explícitas ou implícitas) e protagonistas discursivos. A dificuldade reside em distinguir entre o uso descritivo de termos morais (ex: relatar um fato histórico) e o uso persuasivo (moralização), além de lidar com a subjetividade inerente à tarefa de anotação.

2. Metodologia

A. Criação do Corpus (Moralization Corpus)

Os autores desenvolveram um novo conjunto de dados multigenérico em alemão, contendo 11.503 instâncias de texto extraídas de sete gêneros: debates parlamentares, artigos de opinião, cartas ao editor, entrevistas, relatórios judiciais, discussões da Wikipedia e livros de não ficção.

• Recuperação de Dados: Utilizou-se um dicionário multilíngue de palavras indicadoras de moralidade (DIMI) para recuperar trechos de texto.
• Esquema de Anotação Baseado em Frames: Foi desenvolvido um esquema que captura três camadas inter-relacionadas:
  1. Valores Morais: Mapeados para as seis fundações da Teoria das Fundações Morais (MFT) de Graham et al. (Cuidado/Dano, Justiça/Trapaça, Lealdade/Traição, Autoridade/Subversão, Pureza/Degradação, Liberdade/Opressão).
  2. Demandas: Marcadas em nível de cláusula ou frase. Podem ser explícitas (ex: "Devemos parar de comer carne") ou implícitas (inferidas do contexto).
  3. Protagonistas: Identificados por tipo de grupo (Indivíduos, Instituições, Grupos Sociais, Genérico) e papel discursivo (Quem exige, Destinatário, Beneficiário, Prejudicado).
• Processo de Anotação: Um pipeline de seis etapas envolvendo identificação (diferenciação entre moralização e instâncias neutras de referência a valores - NVIs), fase piloto, anotação completa, revisão, reanotação de NVIs e validação formal. A anotação foi realizada por linguistas, com alto nível de concordância (Kappa de Cohen = 0,71 na fase de identificação).

B. Experimentos com LLMs

O estudo avaliou cinco LLMs de última geração (LLaMA-4, Cohere Command, Mistral, GPT-5, Claude-3.5) sob sete configurações de prompting:

• Variações entre zero-shot, few-shot (10 exemplos), Chain-of-Thought (CoT) e prompts baseados no manual de anotação detalhado.
• O objetivo foi avaliar a detecção binária (moralização vs. NVI) e a extração/classificação dos componentes (valores, demandas, protagonistas).

3. Contribuições Principais

1. Novo Framework de Anotação: Proposição de uma estrutura baseada em frames que integra valores morais, demandas e protagonistas, permitindo uma análise de granularidade fina da retórica moral.
2. Corpus Multigenérico: Disponibilização de um dataset anotado em alemão cobrindo diversos gêneros textuais, servindo como benchmark para modelagem computacional de discursos moralizadores.
3. Avaliação Comparativa Humano-Máquina: Um estudo abrangente que compara a anotação humana com a detecção automática via LLMs, analisando não apenas a precisão, mas também os padrões de concordância e os tipos de erro (falsos positivos e negativos).
4. Recursos Abertos: Liberação pública do corpus, do manual de anotação e do código para fomentar pesquisas interdisciplinares.

4. Resultados

Análise do Corpus

• Distribuição: As NVIs (instâncias neutras) superam as moralizações na maioria dos gêneros, indicando que termos morais são frequentemente usados de forma descritiva.
• Padrões: A fundação "Cuidado/Dano" domina globalmente. Gêneros específicos mostram padrões distintos (ex: discussões da Wikipedia focam em "Justiça/Trapaça" devido às normas de edição).
• Demandas e Protagonistas: Há um equilíbrio entre demandas explícitas e implícitas. Os papéis de "Beneficiário" e "Destinatário" são os mais frequentes, enquanto "Prejudicado" é raro. Instituições e grupos sociais são os protagonistas mais comuns, sugerindo que a moralização frequentemente apela ao bem coletivo.

Desempenho dos Modelos (LLMs)

• Detecção Binária: Instruções detalhadas (prompts baseados no manual) tiveram o maior impacto positivo, superando o uso de exemplos (few-shot) ou explicações forçadas. O modelo Cohere obteve os melhores resultados de F1.
• Extração de Componentes:
  • Valores Morais: Desempenho baixo (F1 < 0,22), devido à dificuldade em definir limites precisos de spans e expressões implícitas.
  • Protagonistas: Desempenho moderado (F1 0,20–0,28), com dificuldade em precisão devido à ambiguidade de múltiplos rótulos.
  • Demandas: A extração de demandas explícitas foi bem-sucedida, mas as implícitas apresentaram desafios significativos.
• Concordância Humano-Máquina:
  • A concordância entre humanos (especialmente especialistas) é maior do que entre humanos e modelos.
  • Modelos tendem a ser mais "liberais" na classificação, identificando mais moralizações do que humanos (59% vs. 38% em média para especialistas).
  • Fontes de Erro:
    • Falsos Positivos (FP): Ocorrem principalmente quando modelos confundem vocabulário moral em contextos neutros (ex: relatórios históricos) ou lidam com casos limítrofes.
    • Falsos Negativos (FN): Ocorrem principalmente quando o modelo falha em detectar demandas implícitas ou a conexão argumentativa entre o valor moral e a demanda.

5. Significado e Conclusão

O trabalho demonstra que a moralização é um fenômeno linguístico e conceitual complexo que desafia a detecção automática atual. Embora os LLMs consigam capturar padrões superficiais e demandas explícitas, eles ainda lutam com a inferência pragmática necessária para identificar moralizações implícitas e contextuais.

A principal conclusão é que a definição clara da tarefa (via prompts detalhados) é mais eficaz do que o uso de exemplos ou raciocínio passo a passo. O estudo destaca a necessidade de abordagens que considerem a subjetividade inerente e o contexto discursivo para avançar na modelagem de raciocínio moral em NLP. O corpus e as ferramentas fornecidas estabelecem uma base metodológica sólida para futuras pesquisas em comunicação moral, argumentação e persuasão.