Fine-Grained Perspectives: Modeling Explanations with Annotator-Specific Rationales

Título: Perspectivas de Alta Frecuencia: Modelado de Explicaciones con Razonamientos Específicos del Anotador

1. El Problema

El campo del Procesamiento del Lenguaje Natural (PLN) "perspectivista" busca modelar las etiquetas de los anotadores individuales en lugar de converger hacia una única etiqueta de consenso (como la votación mayoritaria). Sin embargo, la mayoría de los enfoques actuales modelan las perspectivas de manera implícita utilizando señales contextuales o metadatos demográficos, dejando las perspectivas de los anotadores como conceptos abstractos.

El problema central identificado es la falta de integración explícita de los razonamientos (rationales) proporcionados por los anotadores. Aunque existen conjuntos de datos que requieren explicaciones, estas raramente se utilizan para guiar el modelado de perspectivas. Además, los métodos de explicabilidad existentes a menudo tratan las explicaciones como justificaciones post-hoc (después de la predicción) o generan contenido que no está bien alineado con la perspectiva subjetiva específica del anotador, careciendo de fidelidad y personalización.

2. Metodología

Los autores proponen un marco unificado para modelar simultáneamente la predicción de etiquetas y la generación de explicaciones condicionadas a la identidad del anotador. El enfoque se basa en el conjunto de datos VariErrNLI, que contiene etiquetas de inferencia natural (NLI) desagregadas y explicaciones específicas de cada anotador.

El marco consta de dos componentes principales:

• Clasificador Consciente del Anotador (Annotator-Aware Classifier):

  • Utiliza el modelo DeBERTa-v3-base como codificador.
  • Implementa el mecanismo "User Passport": fusiona la representación contextual del texto con dos vectores aprendidos a nivel de representación:
    1. Un embedding único para la identidad del anotador.
    2. Una proyección de los metadatos demográficos del anotador (género, edad, nacionalidad, educación).
  • Esta fusión permite al modelo aprender patrones sistemáticos entre el contexto del anotador y sus decisiones de etiquetado.

• Modelado de Explicaciones (Dos Arquitecturas Comparadas):

  1. Explicador Post-hoc basado en Prompts:
     • Utiliza un modelo generativo (Flan-T5) que recibe como entrada un prompt de texto que incluye el contexto, la etiqueta predicha, el perfil del anotador y un token de control.
     • No existe una conexión diferenciable directa entre el clasificador y el generador; la información fluye solo a través del texto.
  2. Explicador de Puente Prefijado (Prefixed Bridge Explainer):
     • Introduce un acoplamiento fuerte entre la clasificación y la generación.
     • Toma la representación interna fusionada ($z_{ij}$) del clasificador (que contiene la información del anotador y el texto) y la proyecta a través de una pequeña red neuronal (MLP de 2 capas) para crear una secuencia de embeddings de prefijo.
     • Estos prefijos se inyectan en la entrada del modelo generador (T5) antes de la codificación, condicionando directamente la generación de la explicación sobre las representaciones internas del clasificador.

3. Contribuciones Clave

• Modelado Conjunto de Perspectiva y Explicación: Se propone un marco donde las explicaciones no son meras justificaciones, sino expresiones explícitas de la perspectiva del anotador, condicionadas tanto a la identidad como a las representaciones internas del modelo.
• Arquitectura de Puente de Representación: La introducción del "Prefixed Bridge" permite transferir directamente las señales de razonamiento específicas del anotador desde el clasificador al generador, mejorando la coherencia semántica entre la predicción y la explicación.
• Uso de Razonamientos para la Predicción: Demuestran que incorporar el modelado de explicaciones mejora sustancialmente el rendimiento predictivo en comparación con un clasificador consciente del anotador que no genera explicaciones.
• Análisis de Variabilidad: El estudio revela que etiquetas idénticas pueden provenir de procesos de razonamiento diferentes, y que el modelo puede capturar estas variaciones finas mediante la generación de explicaciones.

4. Resultados

Los experimentos se realizaron comparando el clasificador base (User Passport) con los dos enfoques de explicación:

• Rendimiento Predictivo:

  • La inclusión de la modelación de explicaciones mejoró drásticamente el rendimiento.
  • El Explicador de Puente Prefijado obtuvo el mejor rendimiento global con un Macro-F1 de 93.9 y una coincidencia exacta (Exact Match) del 92.4%, superando al clasificador base (70.5) y al explicador post-hoc (92.3 Macro-F1).
  • Esto indica que el acoplamiento interno ayuda a alinear mejor las predicciones con las etiquetas de oro.

• Calidad de la Explicación:

  • Similitud Semántica: El enfoque de Puente Prefijado obtuvo una mayor similitud semántica (53.4 vs 51.0), lo que sugiere que sus explicaciones capturan mejor el significado subyacente y la lógica de inferencia.
  • Similitud Léxica (ROUGE-L): El enfoque Post-hoc obtuvo ligeramente mejores puntuaciones en ROUGE-L, indicando una mayor superposición superficial de palabras con las explicaciones de referencia, pero a veces a costa de la precisión inferencial.
  • Análisis Cualitativo: Las explicaciones del Puente Prefijado fueron más concisas y se basaron directamente en el contraste clave entre el contexto y la afirmación, mientras que el enfoque Post-hoc tendía a ser más verboso e introducir información no explícita.

• Análisis por Anotador:

  • El Puente Prefijado mostró una mayor estabilidad a través de diferentes anotadores, especialmente en aquellos con patrones de decisión más variables.
  • Se observó que los anotadores con explicaciones más coherentes y validadas (como el Anotador 2) obtuvieron los mejores resultados en ambos modelos, sugiriendo que la calidad de los datos de entrenamiento influye directamente en la fidelidad del modelo.

5. Significado e Impacto

Este trabajo avanza significativamente en el PLN perspectivista al demostrar que:

1. Las explicaciones son datos de entrenamiento valiosos: Integrar los razonamientos humanos en la arquitectura predictiva no solo hace que el modelo sea más interpretable, sino que también mejora su capacidad para predecir las preferencias individuales de los anotadores.
2. La fidelidad de la representación: Tratar las explicaciones como expresiones de perspectiva (y no solo como justificaciones post-hoc) permite una representación más rica y fiel del desacuerdo humano.
3. Arquitectura Superior: La conexión directa entre las representaciones internas del clasificador y el generador (Puente Prefijado) es superior a los métodos basados puramente en prompts para tareas que requieren alineación semántica profunda y consistencia inferencial.

En conclusión, el estudio propone un camino hacia sistemas de PLN más transparentes y sensibles a las perspectivas, capaces de capturar la complejidad y la variabilidad de la interpretación humana más allá de una simple etiqueta de consenso.