Resumen Técnico: SUBDATA – Uniendo Conjuntos de Datos Heterogéneos para la Evaluación Basada en Teoría de la Alineación de Perspectivas de los LLM

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) se vuelven cada vez más capaces de capturar matices en las perspectivas humanas, los investigadores están explorando su utilidad en tareas subjetivas como la detección de discurso de odio. Un desafío crítico en este dominio es la alineación de perspectivas: la capacidad de los modelos para reflejar diversos puntos de vista humanos (por ejemplo, políticos o demográficos) a través de diferentes contextos.

Los esfuerzos de evaluación actuales se ven obstaculizados por la falta de recursos estandarizados. Los estudios suelen depender de conjuntos de datos inconsistentes con esquemas de anotación y categorizaciones demográficas variables, lo que dificulta la comparación de cómo modelos con diferentes niveles de alineación desempeñan tareas derivadas. Además, las metodologías de evaluación existentes suelen tener dificultades con la subjetividad inherente de la "verdad de referencia" (ground truth) en tareas como la detección de discurso de odio, donde las anotaciones humanas divergen naturalmente según las líneas ideológicas. Existe la necesidad de un marco que permita una evaluación sistemática y basada en la teoría de cómo el condicionamiento de la perspectiva influye en el comportamiento del modelo sin depender de etiquetas objetivas en disputa.

2. Metodología

El artículo propone un marco de dos pasos para abordar estos desafíos: Estandarización de Datos mediante la biblioteca SUBDATA, y Prueba de Hipótesis Basada en la Teoría.

2.1 Construcción de la Biblioteca SUBDATA

SUBDATA es una biblioteca de Python de código abierto diseñada para recolectar, armonizar y estandarizar conjuntos de datos heterogéneos para tareas subjetivas.

• Recolección de Datos: Los autores emplearon un enfoque de múltiples fases para identificar conjuntos de datos que contengan anotaciones explícitas de grupos demográficos específicos. Esto implicó aprovechar la experiencia en el dominio, examinar repositorios existentes (por ejemplo, hatespeechdata.com) y realizar búsquedas sistemáticas en la literatura.
• Criterios de Selección: Los conjuntos de datos se seleccionaron basándose en su enfoque en constructos subjetivos (discurso de odio, toxicidad) y en la presencia de anotaciones granulares de grupos objetivo (por ejemplo, especificando "judíos" o "mujeres" en lugar de grupos "otros" genéricos).
• Taxonomía Unificada: Para resolver las inconsistencias en el etiquetado entre diez conjuntos de datos seleccionados (un total de ~852,000 instancias), SUBDATA implementa una taxonomía estandarizada. Esta taxonomía mapea diversas palabras clave originales (por ejemplo, "Kikes", "Jewish people", "blacks") en categorías objetivo consistentes a través de nueve dimensiones: edad, discapacidad, género, migración, origen, política, raza, religión y sexualidad.
• Procesamiento: La biblioteca gestiona los datos dividiendo las anotaciones de múltiples objetivos en instancias separadas, eliminando duplicados y excluyendo entradas sin grupos objetivo específicos. No aloja los conjuntos de datos originales, sino que proporciona la lógica de mapeo para unificarlos.

2.2 Marco de Evaluación Basado en la Teoría

Construido sobre datos estandarizados, el marco propone un flujo de trabajo para probar hipótesis derivadas de la teoría social o política:

1. Teoría (T): Identificar teorías establecidas que predicen diferencias en la percepción entre grupos demográficos o ideológicos.
2. Hipótesis (H): Formular hipótesis contrastables sobre cómo los LLM alineados con perspectivas específicas clasificarán el contenido.
3. Experimento (E): Realizar experimentos controlados utilizando los conjuntos de datos estandarizados para medir las diferencias de clasificación entre modelos con diferentes alineaciones.

Este enfoque evita la necesidad de un consenso sobre las etiquetas de "verdad de referencia". En su lugar, mide la divergencia en los resultados de los modelos condicionados por diferentes perspectivas, proporcionando una lente directa sobre cómo el condicionamiento de la perspectiva moldea el comportamiento derivado.

3. Contribuciones Clave

1. Biblioteca SUBDATA: Una herramienta de código abierto que estandariza conjuntos de datos de discurso de odio heterogéneos, unificando esquemas de anotación y taxonomías demográficas para permitir un análisis consistente entre conjuntos de datos.
2. Taxonomía Unificada: Un sistema de mapeo estructurado que resuelve las inconsistencias en el etiquetado de grupos objetivo (por ejemplo, mapeando "mexicans" a categorías de raza u origen según el contexto) e introduce sufijos de "no especificado" para etiquetas genéricas.
3. Marco de Evaluación: Una metodología novedosa y basada en la teoría para evaluar la alineación de la perspectiva de los LLM que se basa en el comportamiento comparativo de los modelos en lugar de la adherencia a una verdad de referencia subjetiva.
4. Demostración Empírica: Un caso de uso concreto que aplica el marco para probar cómo los LLM condicionados por personalidad (alineados con posturas políticas de izquierda o derecha) detectan el discurso de odio dirigido a demografías específicas.

4. Resultados Experimentales

Los autores aplicaron el marco a tres LLM de código abierto ajustados por instrucciones (Mistral-7B, Llama-3.1-8B, Qwen2.5-7B) utilizando 20 personalidades de tendencia izquierda y 20 de tendencia derecha por modelo.

• Sensibilidad Asimétrica: En todos los modelos y grupos objetivo, las personalidades orientadas a la izquierda produjeron consistentemente tasas de detección de discurso de odio más altas que las personalidades orientadas a la derecha. Este efecto se observó tanto para grupos minoritarios (por ejemplo, negros, musulmanes, LGBTQ+) como para grupos mayoritarios (por ejemplo, blancos, cristianos, hombres).
• Endurecimiento General vs. Protección Selectiva: Los resultados sugieren que el condicionamiento de izquierda conduce a un endurecimiento general de los umbrales de clasificación en lugar de una protección selectiva de grupos específicos. Esto contradice la hipótesis de que las personalidades de derecha serían más protectoras de los grupos mayoritarios.
• Varianza de los Modelos:
  • Mistral mostró la divergencia más fuerte entre las personalidades de izquierda y derecha (Razón de Probabilidades/Odds Ratio = 1.364).
  • Llama exhibió el menor efecto de personalidad (OR = 1.068) pero la tasa de detección base más alta en general.
  • Qwen se situó en un punto intermedio respecto a la sensibilidad de la personalidad, pero tuvo la detección base más baja.
• Anomalías Específicas: Llama mostró una protección inusualmente alta para los blancos (tasa de detección de 0.656 bajo personalidades de izquierda), lo que potencialmente refleja su distribución de entrenamiento centrada en EE. UU., donde el discurso racial suele centrarse en contrastes que involucran a los blancos.

5. Significación y Reivindicaciones

El artículo posiciona a SUBDATA como un recurso fundacional para el campo emergente de la alineación de la perspectiva de los LLM. Su significación radica en:

• Permitir una Comparación Rigurosa: Al estandarizar los conjuntos de datos, permite a los investigadores ir más allá de recursos inconsistentes y específicos de cada estudio para realizar afirmaciones acumulativas y comparables sobre el comportamiento de los modelos.
• Abordar la Subjetividad: El marco basado en la teoría reconoce la subjetividad inherente de tareas como la detección de discurso de odio. Desplaza la métrica de evaluación de la "exactitud frente a una verdad de referencia en disputa" hacia "diferencias cuantificables en el comportamiento condicionado por la perspectiva".
• Construcción de Comunidad: Los autores invitan a la comunidad de investigación a contribuir con conjuntos de datos adicionales y a extender la biblioteca más allá del discurso de odio hacia otros constructos subjetivos (por ejemplo, desinformación), con el objetivo de evolucionar SUBDATA hacia una suite de evaluación de múltiples constructos integral.

Los autores mantienen una postura modesta, reconociendo que la taxonomía actual implica elecciones de mapeo manual y que la biblioteca agrega anotaciones existentes sin re-etiquetar. Enfatizan que la herramienta está diseñada para mejorar la transparencia y la comprensión de la evaluación, no para permitir la creación de sistemas dañinos o sesgados.