Resumen Técnico: La Posicionalidad del Anotador como Señal: Ponderación Psicométrica para la Detección del Capacitismo Anti-Autista

Enunciado del Problema

Los modelos de lenguaje grandes (LLM) se despliegan cada vez más en pipelines de toma de decisiones, como la moderación de contenido, donde corren el riesgo de amplificar o suprimir perspectivas comunitarias. Si bien investigaciones anteriores han identificado sesgos generales relacionados con la discapacidad en los LLM, los mecanismos específicos mediante los cuales estos modelos conceptualizan y detectan el capacitismo anti-autista permanecen poco explorados. Un desafío crítico en este dominio es la distinción entre interno/externo: términos recuperados por la comunidad autista (por ejemplo, "aspie", "autie") para señalar solidaridad pueden ser mal clasificados como capacitistas por sistemas automatizados o anotadores humanos que carecen de conocimientos arraigados en la comunidad. Además, los métodos de evaluación estándar que dependen de la agregación por votación mayoritaria subpesan sistemáticamente las perspectivas autistas y de aceptación del autismo, tratando la identidad del anotador como ruido en lugar de una señal significativa. Esto conduce a verdades fundamentales que no capturan los matices contextuales de la identidad del hablante, el lenguaje recuperado y el impacto comunitario.

Metodología

Los autores proponen un marco de evaluación consciente del sesgo que integra la ponderación psicométrica con evaluaciones controladas de LLM.

1. Verdad Fundamental Ponderada Psicométricamente

En lugar de una simple votación mayoritaria, el estudio construye una verdad fundamental ponderando las etiquetas de los anotadores humanos en función de sus niveles medidos de sesgo y rasgos autistas.

• Fuente de Datos: 2.120 oraciones del conjunto de datos AUTALIC, etiquetadas como capacitistas (1) o no (0).
• Caracterización del Anotador: Los anotadores completaron tres instrumentos psicométricos:
  • SATA (Actitudes Sociales hacia el Autismo): Mide la aceptación explícita.
  • AQ (Cociente del Espectro Autista): Cuantifica los rasgos autistas.
  • IAT (Test de Asociación Implícita): Mide los sesgos implícitos hacia el autismo.
• Esquema de Ponderación: Se calcula una puntuación de fiabilidad compuesta ($R_i$) normalizando por rango mínimo-máximo y promediando las puntuaciones de los tres instrumentos (con el IAT invertido para que valores más altos indiquen menor sesgo). Estas puntuaciones se normalizan en relación con la media del equipo para producir un peso final ($W_i$). La etiqueta de la verdad fundamental ($\hat{y}$) es la media ponderada de las etiquetas de los anotadores.
• Validación: Se demostró que esta ponderación compuesta produce una verdad fundamental significativamente más estricta que la votación mayoritaria ($p < .001$), mientras que la ponderación basada solo en AQ no lo hizo ($p = .651$).

2. Configuración de Evaluación de LLM

• Modelos: Se evaluaron doce LLM de acceso público, que van desde 135M hasta 20B de parámetros, incluyendo variantes ajustadas a instrucciones, capaces de razonamiento, orientadas a la seguridad y sin censura.
• Condiciones de Prompting: Ocho modelos se probaron bajo siete condiciones distintas:
  1. Zero-Shot (ZS): Enmarcado basado en definiciones.
  2. Cadena de Pensamiento (CoT): Razonamiento de tres pasos (identidad del hablante, palabra clave vs. meta-contexto, evaluación del daño).
  3. Aprendizaje en Contexto (ICL): Dos subcondiciones utilizando ejemplos de anotadores con alto AQ (próximos al autismo) y bajo AQ (no autistas).
  4. Prompts de Persona: Tres subcondiciones que varían el lenguaje de identidad (Identidad-Primero, Persona-Primero o neutral).
• Métricas: El acuerdo principal se midió utilizando el $\kappa$ de Cohen frente a la verdad fundamental ponderada. Las métricas secundarias incluyeron F1, precisión, recuperación (recall) y exactitud.

3. Evaluación Psicométrica de LLM

Para evaluar sesgos latentes, se administraron los instrumentos SATA y AQ a los LLM. Para mitigar la "respuesta basada en el reconocimiento" (donde los modelos imitan respuestas socialmente deseables debido a la familiaridad con los datos de entrenamiento), el estudio empleó una reescritura enmascarada de los instrumentos. Esto implicó la aleatorización de ítems, la variación de la redacción y la inclusión de ítems de relleno y de validez (falsos) para oscurecer el propósito del cuestionario.

4. Análisis de Errores

Se realizó un análisis de errores triangulado en 92 salidas de LLM muestreadas. Tres analistas utilizaron lentes distintos: (1) contenido temático, (2) características lingüísticas de los estudios de discapacidad y (3) estructura de razonamiento.

Resultados Clave

1. La Construcción de la Verdad Fundamental No es Neutral

• Línea Base Más Estricta: El $\kappa$ ponderado psicométricamente fue consistentemente más bajo que el $\kappa$ sin ponderar (votación mayoritaria) en 56 combinaciones de modelo-condición (media $\delta\kappa = -0.012$). Esto confirma que la votación mayoritaria subrepresenta sistemáticamente las perspectivas autistas.
• Brechas de Alineación: Los LLM mostraron un acuerdo significativamente mayor con los anotadores "confiables" (puntuaciones de confianza altas) que con los anotadores "próximos al autismo", validando la necesidad del esquema de ponderación compuesta.
• Variación del Modelo: Los clasificadores orientados a la seguridad (LLaMA Guard 3, GPT-OSS) superaron a los modelos de propósito general, lo que sugiere que el entrenamiento específico de seguridad codifica sensibilidad al daño por discapacidad que el prompting general no puede recuperar.

2. Rendimiento de Clasificación

• Rendimiento Generalmente Bajo: El $\kappa$ ponderado medio fue de 0.118 y el F1 medio fue de 0.237, lo que indica un rendimiento cercano al azar en una tarea de alto riesgo.
• Desequilibrio Precisión-Recuperación: Los modelos exhibieron una sobreclasificación sistemática (alta recuperación, baja precisión), señalando términos recuperados por la comunidad como capacitistas.
• Limitaciones del Prompting:
  • CoT: Aunque la Cadena de Pensamiento eliminó la "deflexión temática" (justificar etiquetas no capacitistas afirmando que el texto no trata sobre el autismo), no logró mejorar significativamente el "razonamiento de posicionalidad" (entender la identidad del hablante).
  • ICL y Personas: El aprendizaje en contexto y los prompts de persona no mejoraron consistentemente el rendimiento; en algunos casos, desestabilizaron modelos de alto rendimiento.

3. Fallos de Razonamiento

El análisis de errores identificó cuatro modos de fallo principales:

1. Razonamiento de Forma Superficial: Los modelos dependieron en gran medida de la coincidencia de palabras clave (41% de los extractos) en lugar del contexto. Frecuentemente etiquetaron incorrectamente términos recuperados (por ejemplo, "aspie") como capacitistas y pasaron por alto marcos basados en déficits que carecían de palabras clave negativas.
2. Ceguera de Posicionalidad: El razonamiento explícito sobre la identidad del hablante fue raro (10% en general, 13% bajo CoT) y estuvo ausente en condiciones zero-shot.
3. Deflexión Temática: Los modelos a menudo justificaron etiquetas no capacitistas afirmando que el texto no concernía al autismo, un comportamiento eliminado por CoT pero reemplazado por otros errores.
4. Alucinación y Estereotipos: Los modelos invocaron estereotipos y, en algunos casos, alucinaron temas (por ejemplo, identificar erróneamente una oración sobre Autism Speaks como antisemitismo).

4. Sesgos Latentes en LLM

• El Enmascaramiento Revela Sesgos: Cuando se enmascararon las señales de reconocimiento de instrumentos, los LLM mostraron una divergencia significativa en las respuestas: las puntuaciones SATA disminuyeron (indicando menor aceptación) y las puntuaciones AQ aumentaron (indicando rasgos autistas más altos en el rango clínico) en comparación con los instrumentos originales.
• Interpretación: Esto sugiere que los informes de autoevaluación estándar de los LLM elicitan respuestas socialmente deseables que ocultan actitudes latentes anti-autistas.

Significado y Afirmaciones

El artículo afirma proporcionar una plantilla replicable para la evaluación consciente del sesgo y arraigada en la comunidad en la detección de lenguaje dañino. Sus contribuciones principales son:

1. Metodológica: Demostrar que la ponderación psicométrica crea una verdad fundamental más estricta y precisa que la votación mayoritaria para detectar el capacitismo anti-autista, específicamente al aumentar el peso de los anotadores con altos rasgos autistas y bajo sesgo implícito.
2. Empírica: Revelar que los LLM actuales, incluso con estrategias de prompting avanzadas como CoT y personas, fallan en razonar más allá de las palabras clave superficiales en cuanto a la identidad del hablante y el lenguaje recuperado.
3. Diagnóstica: Mostrar que las evaluaciones psicométricas enmascaradas exponen sesgos anti-autistas latentes en los LLM que están ocultos por los mecanismos estándar de informes de autoevaluación.

Los autores concluyen que el ajuste fino específico de la tarea sobre datos etiquetados por la comunidad es un prerrequisito para un rendimiento apto para el despliegue en este dominio, en lugar de una mejora opcional. Subrayan que los modelos actuales operan con una exactitud cercana al azar en tareas que afectan a las comunidades autistas, destacando la necesidad urgente de marcos de evaluación que centren las perspectivas comunitarias y la posicionalidad.