The Moralization Corpus: Frame-Based Annotation and Analysis of Moralizing Speech Acts across Diverse Text Genres

1. Planteamiento del Problema

El artículo aborda la falta de modelos computacionales sistemáticos para el fenómeno pragmático de la moralización. Mientras que la investigación previa en Procesamiento del Lenguaje Natural (NLP) y Ciencias Sociales Computacionales (CSS) se ha centrado en predecir valores morales generales o sesgos en modelos de lenguaje (LLMs), existe un vacío en el análisis de cómo los valores morales se utilizan estratégicamente en discursos argumentativos para justificar demandas o posiciones.

La moralización se define como una estrategia persuasiva donde se invocan valores morales (ej. justicia, seguridad, libertad) para apoyar demandas explícitas o implícitas. El desafío principal radica en su complejidad pragmática:

• A menudo son implícitas (la demanda no se formula directamente).
• Son subjetivas y dependen del contexto.
• Los términos morales pueden aparecer en contextos descriptivos neutros (instancias de referencia de valor neutrales o NVI) sin constituir una moralización, lo que dificulta la distinción automática.

2. Metodología

A. Creación del Corpus (Moralization Corpus)

Los autores desarrollaron un conjunto de datos multigénero en alemán que incluye debates parlamentarios, artículos de noticias, cartas al editor, discusiones en Wikipedia y libros de no ficción.

• Proceso de Recuperación: Se creó el diccionario DIMI (3.000 entradas) con palabras indicadoras de moralidad. Se recuperaron fragmentos de texto (5 oraciones) que contenían estas palabras.
• Esquema de Anotación Basado en Marcos (Frame-Based): Se diseñó un esquema que captura tres componentes constitutivos interrelacionados:
  1. Valores Morales: Mapeados a las 6 bases de la Teoría de los Fundamentos Morales (MFT): Cuidado/Daño, Justicia/Engaño, Lealtad/traición, Autoridad/Subversión, Pureza/Degradación, Libertad/Opresión.
  2. Demandas: Se anotan tanto las demandas explícitas como las implícitas (reformuladas por el anotador).
  3. Protagonistas: Se identifican los agentes morales, beneficiarios, destinatarios y perjudicados, clasificados por tipo (individuos, grupos sociales, instituciones) y rol discursivo.
• Proceso de Anotación: Se siguió un pipeline de seis etapas (identificación, fase piloto, anotación completa, revisión, re-anotación de NVIs y validación formal) con múltiples anotadores lingüistas y un árbitro experto para garantizar la fiabilidad (Kappa de Cohen = 0.71 en la identificación inicial).

B. Experimentos con Modelos de Lenguaje (LLMs)

Se evaluó la capacidad de cinco LLMs de última generación (LLaMA, Cohere, Mistral, GPT-5, Claude) para detectar moralizaciones y extraer sus componentes.

• Configuraciones de Prompt: Se probaron 7 configuraciones variando la instrucción básica, el razonamiento paso a paso (Chain-of-Thought), ejemplos few-shot (10 ejemplos) y la inclusión de explicaciones.
• Evaluación: Se compararon los resultados de los modelos con las anotaciones humanas (Gold Standard) y entre los propios modelos, utilizando métricas como F1, precisión, recuperación y análisis de acuerdo (Kappa de Fleiss, PABAK).

3. Contribuciones Clave

1. Nuevo Marco de Anotación: Propuesta de un esquema basado en marcos que integra valores morales, demandas y protagonistas, permitiendo un análisis fino de la retórica moral más allá de la simple clasificación binaria.
2. Recurso de Datos: Liberación del Moralization Corpus, un dataset anotado de 11.503 instancias en alemán, junto con las directrices de anotación y el código, para fomentar la investigación interdisciplinaria.
3. Análisis de la Subjetividad y Desempeño de LLMs: Un estudio exhaustivo que compara la detección humana y automática, revelando cómo la familiaridad con el proyecto y la definición operativa afectan la consistencia de la anotación, y evaluando las limitaciones actuales de los LLMs en tareas pragmáticas complejas.

4. Resultados Principales

Estadísticas del Corpus

• Las demandas explícitas dominan en debates parlamentarios, mientras que las implícitas son más frecuentes en cartas al editor y comentarios.
• Los valores de Justicia/Engaño son predominantes en discusiones de Wikipedia, mientras que Cuidado/Daño es más común en general.
• Los protagonistas más frecuentes son instituciones y grupos sociales, actuando a menudo como destinatarios o beneficiarios, lo que refleja una tendencia a enmarcar los problemas en términos de bienestar colectivo.

Desempeño de los Modelos (LLMs)

• Instrucciones Detalladas: Las instrucciones detalladas (basadas en el manual de anotación) tuvieron un impacto mayor en el rendimiento que los ejemplos few-shot o la generación de explicaciones.
• Rendimiento General: Los modelos alcanzaron puntuaciones F1 moderadas (alrededor de 0.70-0.78 en la mejor configuración), pero mostraron dificultades significativas en la extracción de componentes específicos (valores y protagonistas), con puntuaciones F1 muy bajas (<0.25) debido a la ambigüedad de los límites de los fragmentos y la subjetividad.
• Acuerdo Humano vs. Modelo:
  • Los expertos humanos mostraron mayor acuerdo entre sí que los estudiantes o los modelos.
  • Los modelos tienden a ser más "liberales" (detectan más moralizaciones), mientras que los humanos, especialmente los expertos, capturan mejor los casos sutiles e implícitos.
  • Las discrepancias fundamentales (donde modelos y humanos se oponen) suelen ser casos "límite" o ambiguos.

Análisis de Errores

• Falsos Positivos (FP): Los modelos a menudo confunden el uso neutral de vocabulario moral (ej. en contextos históricos o descriptivos) con moralización, o fallan al detectar la falta de contexto.
• Falsos Negativos (FN): La principal causa de error es la no detección de demandas implícitas. Los modelos luchan por inferir una demanda cuando el texto solo describe un estado de affairs negativo sin un llamado explícito a la acción.

5. Significado e Implicaciones

El trabajo demuestra que la moralización es un fenómeno lingüístico y conceptual complejo que desafía los enfoques actuales de NLP.

• Para la Lingüística y Ciencias Sociales: El corpus proporciona una base empírica para estudiar cómo se estructuran los argumentos morales y cómo se despliegan estratégicamente en diferentes géneros discursivos.
• Para la IA: Los resultados indican que, aunque los LLMs pueden detectar señales superficiales (vocabulario moral), carecen de la capacidad pragmática profunda para inferir intenciones persuasivas implícitas y conectar valores con demandas en contextos complejos.
• Futuro: Se destaca la necesidad de modelos ajustados (fine-tuning) con este esquema específico y métodos de evaluación más matizados que vayan más allá de la coincidencia exacta de cadenas de texto, considerando la variabilidad humana inherente a la interpretación moral.

En resumen, el artículo establece una base metodológica sólida para el análisis computacional de la retórica moral, subrayando que la detección automática precisa requiere no solo más datos, sino una comprensión más profunda de la pragmática y la subjetividad en el discurso.