Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs

Resumen Técnico: Historias Brillantes, Luchas Ocultas: Investigando la Representación de la Discapacidad a Través de la Lente de los Modelos de Lenguaje Grande

Enunciado del Problema
Aunque los Modelos de Lenguaje Grande (LLM) han demostrado la capacidad de simular personas y generar texto que refleja diversos grupos demográficos, existe una preocupación crítica sobre cómo estos modelos representan a comunidades históricamente marginadas. Investigaciones anteriores han documentado extensamente sesgos negativos y estereotipos en los LLM. Sin embargo, los recientes mecanismos de seguridad, como los guardias de IA integrados y las técnicas de desviación de sesgos, pueden conducir a una forma diferente de daño: la "sobrecompensación". Este fenómeno ocurre cuando los modelos, en un esfuerzo por evitar el sesgo negativo, generan representaciones excesivamente positivas, idealizadas o higienizadas de grupos marginados. Esta "positividad tóxica" puede borrar las complejidades, los desafíos estructurales y las realidades emocionales negativas que enfrentan estas comunidades, silenciando efectivamente sus experiencias vividas bajo una capa de inspiración. El artículo se centra específicamente en la representación de la discapacidad, un grupo que ha recibido comparativamente menos atención en la literatura sobre sesgos a pesar de enfrentar una discriminación significativa y desventajas socioeconómicas.

Metodología
Los autores emplean un enfoque de análisis comparativo, contrastando autodescripciones de personas reales con discapacidad contra representaciones generadas por IA. El estudio involucra tres conjuntos de datos principales:

1. REDD (Conjunto de Datos del Mundo Real): Una colección de 1.250 publicaciones en redes sociales (Reddit) escritas por personas que se identifican a sí mismas con discapacidades. Los datos se obtuvieron de seis subreddits ($r/disability$, $r/blind$, $r/autism$, $r/depression$, $r/deaf$, $r/cerebralpalsy$). Las publicaciones se filtraron para asegurar una perspectiva en primera persona y una mención explícita de la discapacidad, y luego fueron anotadas manualmente por tres anotadores humanos (Kappa de Fleiss = 0,875).
2. LLMD (Conjunto de Datos LLM-Discapacidad): Representaciones artificiales generadas por tres LLM (GEMINI-1.5F, GPT-4O-MINI y MIXTRAL-8B). Utilizando prompts abiertos inspirados en estudios previos de personas, se instruyó a los modelos para que imaginaran que eran personas con discapacidades específicas (por ejemplo, autismo, ceguera, depresión) y escribieran una publicación en redes sociales. Esto resultó en 1.080 publicaciones (360 por modelo).
3. LLMND (Conjunto de Datos LLM-Sin Discapacidad): Un conjunto de control de 1.080 publicaciones generadas por los mismos modelos simulando personas "genéricas" sin mención explícita de discapacidad, utilizado para aislar los cambios lingüísticos específicos de la persona con discapacidad.

Métricas de Análisis
El estudio utiliza un marco cuantitativo y cualitativo multidimensional:

• Análisis de Sentimiento: Utilizando VADER para clasificar las publicaciones como positivas, negativas o neutrales.
• Distribución de Emociones: Empleando el Léxico de Asociación de Palabras-Emociones NRC (EmoLex) para cuantificar la prevalencia de ocho emociones (ira, miedo, anticipación, confianza, sorpresa, tristeza, alegría, asco).
• Detección de Depresión: Aplicando un modelo de última generación de la Tarea Compartida LT-EDI-ACL2022 para predecir niveles de depresión (ninguna, moderada, severa).
• Análisis Temático y Léxico: Utilizando la metodología "Fightin' Words" (puntuaciones z) para identificar palabras distintivas estadísticamente significativas entre conjuntos de datos. Estas palabras se agrupan luego en grupos temáticos utilizando GPT-4O-MINI para interpretar las diferencias semánticas.

Hallazgos Clave
El análisis arroja dos hallazgos principales sobre la representación de la discapacidad:

1. Idealización y Positivismo Tóxico (PQ1): Los LLM se desvían significativamente de las autodescripciones de personas reales con discapacidad.

   • Sentimiento: Mientras que el 53,06% de las publicaciones del mundo real exhibieron un sentimiento negativo, las publicaciones generadas por LLM fueron abrumadoramente positivas (del 96,39% al 99,72%).
   • Depresión: Las publicaciones del mundo real mostraron altas tasas de indicadores de depresión moderada (26,26%) y severa (20,42%). En contraste, los LLM eliminaron casi por completo estas señales; GPT-4O-MINI produjo cero publicaciones con indicadores de depresión, y MIXTRAL-8B produjo solo una.
   • Diferencias Léxicas: Las publicaciones del mundo real se distinguieron por palabras relacionadas con luchas médicas (dolor, hospital, cirugía), dificultades económicas (trabajo, dinero, sin hogar) y estados emocionales negativos (odio, estrés, suicidio). Las publicaciones de LLM estuvieron dominadas por palabras de inspiración y comunidad (amor, agradecido, victoria, fuerza, inclusivo), reflejando una narrativa de "superación" en lugar de vivir con la discapacidad.

2. Sesgo Negativo y Simplificación Excesiva (PQ2): Al comparar LLMs que simulan personas con discapacidad frente a personas genéricas, los modelos exhiben un cambio distintivo en el tono.

   • Tono Emocional: A pesar de la positividad general, las publicaciones que simulan discapacidad contenían niveles significativamente más altos de emociones negativas (ira, tristeza, miedo) y niveles más bajos de anticipación y alegría positivas en comparación con las publicaciones que simulan personas genéricas.
   • Disparidad Temática: Los LLM asocian la discapacidad desproporcionadamente con temas de lucha, resiliencia y defensa, mientras que las personas genéricas se asocian con el trabajo, la carrera y el ocio (entretenimiento, aventura). Esto sugiere que los LLM enmarcan la discapacidad principalmente a través de una lente de "lucha y excepcionalismo", descuidando otros facetas de la vida humana como el logro profesional o los intereses recreativos.

Significado y Contribuciones
El artículo contribuye con un conjunto de datos disponible públicamente (REDD y LLMD) y ofrece un examen crítico del "sesgo positivo" en la IA. Los autores argumentan que la tendencia actual de sobreidealización en los LLM, impulsada probablemente por el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) y las barreras de seguridad, crea una narrativa "brillante" que oculta las "luchas ocultas" de la discapacidad.

El significado de este trabajo radica en su demostración de que la mitigación de sesgos en los LLM no se trata meramente de eliminar estereotipos negativos, sino también de evitar la "positividad tóxica" que borra la realidad del sufrimiento y la desigualdad estructural. Los autores postulan que, para que la IA fomente una inclusión y empatía genuinas, debe ser capaz de representar el espectro completo de la emoción humana, incluido el dolor, la frustración y la depresión, en lugar de forzar un arco higienizado e inspirador. El estudio subraya la necesidad de políticas de IA y prácticas de diseño que prioricen la representación auténtica sobre representaciones superficialmente benévolas, asegurando que las herramientas tecnológicas se alineen con las realidades vividas, matizadas y a menudo difíciles de las comunidades marginadas.