Navigating the Rabbit Hole: Emergent Biases in LLM-Generated Attack Narratives Targeting Mental Health Groups

Resumen Técnico: Navegando por la madriguera del conejo: Sesgos emergentes en las narrativas de ataque generadas por LLM dirigidas a grupos de salud mental

Planteamiento del problema
Si bien se sabe que los Modelos de Lenguaje Extensos (LLM) exhiben sesgos contra grupos de identidad específicos, el fenómeno de los ataques dirigidos no provocados sigue siendo insuficientemente explorado. Específicamente, existe una falta de comprensión sobre cómo los LLM escalan de forma autónoma las narrativas dañinas contra poblaciones vulnerables, como los grupos de salud mental, incluso cuando estos grupos no se mencionan explícitamente en los prompts iniciales. Las evaluaciones de sesgo actuales suelen depender de la elicitación de prompts directos y estáticos o de verificaciones de toxicidad de generación única, fallando en capturar la naturaleza recursiva y de red de cómo la toxicidad se desarrolla y se propaga a través de trayectorias generativas. Este artículo aborda la brecha en la comprensión de cómo las identidades de salud mental son desproporcionadamente atacadas y estigmatizadas dentro de las "Madrigueras de Toxicidad" (Toxicity Rabbit Holes, TRH) —cadenas de generación recursivas donde un LLM es iterativamente instado a hacer que el contenido sea cada vez más tóxico.

Metodología
El estudio utiliza el conjunto de datos Toxicity Rabbit Hole (TRH) (Dutta et al., 2024), un corpus a gran escala de 459 millones de tokens generados por 10 LLM dirigidos a 1,266 grupos de identidad. Para este análisis, los autores se centran en el modelo Mistral 7B, que comprende 15,401 cadenas de generación y 199,599 salidas individuales.

La metodología procede a través de tres etapas principales:

1. Curación de datos y extracción de entidades:

   • Los autores filtraron el corpus para retener solo las generaciones tóxicas, excluyendo las salidas neutrales o de contra-discurso.
   • Utilizando LLaMA-3.2 3B, extrajeron "entidades víctimas" (grupos atacados por los ataques) y entidades no participantes del texto.
   • Un proceso de consolidación manual fusionó entidades morfológica y semánticamente redundantes (por ejemplo, "Musulmanes" y "Moslemos"), resultando en un vocabulario final de 24,185 entidades víctimas únicas (VictimSet).
   • Se utilizó un léxico específico de 390 términos de salud mental (derivados de la CIE-10, Wikipedia y términos coloquiales) para filtrar un subconjunto de MHSet (195 entidades de salud mental únicas) del VictimSet.

2. Construcción de la red (Red de la Madriguera del Conejo):

   • Se construyó un grafo dirigido ponderado $G = (V, E)$ donde los nodos representan entidades víctimas y las aristas representan las transiciones entre entidades en generaciones sucesivas dentro de la misma cadena.
   • Los pesos de las aristas corresponden a la frecuencia de las transiciones ($u \to v$).
   • El análisis se centró en el componente débilmente conectado más grande, que contiene 24,184 nodos y 663,433 aristas.

3. Marcos analíticos:

   • Centralidad de red (RQ1): Los autores computaron la cercanía, el grado (ponderado/no ponderado), PageRank y la intermediación (betweenness) para los nodos MHSet frente a los Non-MHSet, utilizando pruebas de Mann-Whitney U para determinar la significancia.
   • Detección de comunidades (RQ2): Se aplicó el algoritmo de Leiden para identificar grupos de entidades co-atacadas. Se calculó un coeficiente de Gini para medir la concentración de entidades de salud mental dentro de comunidades específicas.
   • Análisis de estigmatización (RQ3): Basándose en el marco de Link & Phelan (2001), los autores analizaron la evolución de los componentes del estigma (Etiquetado, Estereotipación Negativa, Separación, Pérdida de Estatus/Discriminación) a medida que las cadenas progresaban desde los objetivos iniciales ($V_{init}$) hasta la primera aparición de los objetivos de salud mental ($V_{MH}$). Se utilizó LLaMA-3.2 3B para anotar la presencia de estos componentes, y se realizaron pruebas de rango firmado de Wilcoxon en muestras emparejadas dentro de las cadenas.

Contribuciones clave

1. Evaluación explícita de ataques no provocados: El artículo proporciona la primera evaluación explícita de ataques generados por LLM dirigidos específicamente a grupos de salud mental altamente vulnerables dentro de cadenas de generación recursivas, demostrando que estos grupos son atacados incluso sin un prompt inicial.
2. Marco basado en redes: Introduce un enfoque basado en redes para estudiar la propagación de sesgos relativos, modelando cómo el contenido tóxico transiciona entre entidades e identificando "madrigueras del conejo" estructurales donde las entidades de salud mental actúan como nodos centrales (hubs).
3. Evaluación de la estigmatización emergente: El estudio cuantifica el grado relativo de estigmatización que emerge en estas cadenas, mostrando que el encuadre de los objetivos de salud mental se vuelve cualitativamente más severo que el de los objetivos iniciales.

Resultados

• Centralidad (RQ1): Las entidades de salud mental ocupan posiciones significativamente más centrales en la red.
  • Centralidad de cercanía (Closeness Centrality): Las entidades de salud mental tienen una media de cercanía significativamente mayor (Media = 0.71 vs. 0.63, $p = 4.06 \times 10^{-10}$), lo que indica que son estructuralmente más fáciles de alcanzar desde otros nodos en menos pasos.
  • Grado y PageRank: Las entidades de salud mental muestran una centralidad de grado (ponderada y no ponderada) y puntuaciones de PageRank significativamente más altas ($p < 0.001$), lo que sugiere que son focos frecuentes y están profundamente integradas en clústeres influyentes.
  • Intermediación (Betweenness): No se encontró una diferencia significativa, lo que implica que las entidades de salud mental funcionan como nodos densos en lugar de puentes entre regiones desconectadas.
• Estructura de comunidad (RQ2): Las entidades de salud mental no están distribuidas al azar, sino que están estrechamente agrupadas.
  • El coeficiente de Gini de 0.7 indica una alta concentración.
  • El 75.9% de todas las entidades de salud mental residen en solo dos comunidades: una que contiene trastornos clínicamente específicos (ej. trastorno bipolar, dislexia) y otra que contiene términos socialmente construidos y amplios (ej. "personas con problemas de salud mental").
  • Un subconjunto más pequeño de entidades refleja el ataque interseccional (ej. "personas negras con enfermedades mentales").
• Evolución de la estigmatización (RQ3): A medida que las cadenas generativas cambian de los objetivos iniciales a los objetivos de salud mental, la severidad de la estigmatización aumenta significativamente en todos los cuatro componentes.
  • Pérdida de estatus y discriminación: Mostraron el aumento más pronunciado (Diferencia de proporción media = -0.70, $p = 7.16 \times 10^{-143}$).
  • Etiquetado: También mostró un gran aumento (Diferencia de proporción media = -0.47, $p = 5.44 \times 10^{-81}$).
  • Esto indica que, una vez que se invocan las entidades de salud mental, el discurso cambia para volverse marcadamente más deshumanizante y discriminatorio.

Significancia y afirmaciones
El artículo argumenta que las evaluaciones de seguridad de los LLM actuales poseen un punto ciego crítico: los modelos pueden dañar desproporcionadamente a los grupos de salud mental incluso cuando estos están ausentes del prompt inicial. Los autores afirman que la estructura generativa interna del modelo, similar al sesgo implícito, conduce a un ataque recurrente y a la amplificación de los estigmas sociales a través de la generación recursiva.

La significancia de este trabajo radica en resaltar que el daño no es simplemente la presencia de sesgo, sino su escalada recursiva. Un solo paso generativo hacia una trayectoria dañina puede espiralizar hacia narrativas profundamente deshumanizantes que las salvaguardas de generación única no logran capturar. Los autores concluyen que los paradigios de seguridad de los LLM deben cambiar de una moderación reactiva a intervenciones proactivas y conscientes de la trayectoria, capaces de detectar patrones de daño emergentes en tiempo real. Además, el trabajo sugiere que las futuras estrategias de reducción de sesgo deberían utilizar redes de interacción de entidades para guiar el ajuste fino (fine-tuning) y las intervenciones de contra-estigma.

Limitaciones reconocidas
Los autores señalan que sus hallazgos son específicos para el marco TRH y el modelo Mistral 7B, lo que puede limitar la generalizabilidad. Además, aunque los métodos de red capturan dependencias estructurales, no contemplan plenamente las variaciones en la intensidad o el encuadre de los ataques más allá de los componentes anotados. El estudio depende de anotaciones inferidas por LLM para la toxicidad y el estigma, las cuales fueron verificadas manualmente pero siguen representando un sustituto (proxy) del juicio humano. Finalmente, la lista de entidades fue compilada a partir de fuentes autorizadas, y trabajos futuros podrían explorar las bifurcaciones comunitarias en cómo se enmarca el estigma a través de los ejes diagnóstico versus social.