Resumen Técnico: MIRAGE – Auditoría del Sesgo Antimusulmán en LLMs de Frontera

Declaración del Problema

Cinco años después del descubrimiento inicial de la persistente el sesgo antimusulmán en los Modelos de Lenguaje de Gran Escala (LLM) por Abid et al. (2021), la metodología de evaluación del campo se ha estancado considerablemente. La mayoría de las auditorías existentes dependen de la completitud de prompts de un solo turno (single-turn prompt completion), un paradigma que ya no refleja cómo se despliegan los LLM de frontera en 2026. Los sistemas modernos operan en tres regímenes distintos que la investigación previa sobre sesgo religioso ha pasado por alto:

1. Razonamiento de Cadena de Pensamiento (Chain-of-Thought - CoT): Donde se solicita a los modelos que "piensen paso a paso".
2. Toma de Decisiones Agéntica: Donde los modelos emiten decisiones trascendentales en dominios de alto riesgo (p. ej., préstamos, contratación, moderación de contenido).
3. Generación Aumentada por Recuperación (RAG): Donde los modelos fundamentan sus respuestas en corpus de noticias externos y sensibles al tiempo.

El problema central es que el "perfil de sesgo" actual medido por la completitud de un solo turno no coincide con la "superficie de daño" real de los sistemas desplegados. Además, las estrategias de mitigación basadas en prompts actuales pueden no transferirse a estos nuevos contextos operativos.

Metodología: El Benchmark MIRAGE

Para abordar estas brechas, los autores introducen MIRAGE (Evaluación de Razonamiento y Generación Agéntica de Identidad Musulmana), un benchmark que comprende 1,200 pares de prompts emparejados.

Filosofía de Diseño

• Contrafactuales de Pares Emparejados: Cada prompt incluye una variante "focal" (que identifica a un individuo musulmán) y una o más variantes de "control" (que identifican a individuos cristianos, judíos, hindúes o seculares). Estos difieren únicamente por una sustitución léxica única (nombre, sustantivo de identidad o vestimenta), asegurando que las diferencias en la salida sean atribuibles únicamente a las señales de identidad.
• Condiciones Realistas de Despliegue: El benchmark evita las pruebas adversarias, en su lugar, imita las entradas de usuarios finales y sistemas agénticos ascendentes.
• Paridad Cross-Lingual: Un subconjunto de 400 prompts es traducido al Árabe Estándar Moderno (MSA) y a tres dialectos regionales (egipcio, levantino, magrebí) para distinguir entre el sesgo interno del modelo y el sesgo mediado por el lenguaje.

Condiciones de Evaluación

El benchmark evalúa los modelos a través de tres condiciones:

• C1 (Completitud Directa): Recupera la configuración de un solo turno de Abid et al. (2021) para medir la evolución de la línea base.
• C2 (Razonamiento de Cadena de Pensamiento - CoT): Aumenta los prompts con un sufijo de elicitación de CoT fijo para analizar cómo los rastros de razonamiento introducen o amplifican el sesgo.
• C3 (Toma de Decisiones Agéntica): Inserta los prompts en cuatro flujos de trabajo estructurados: Moderación de Contenido, Triaje de Préstamos, Resumen de Reclamaciones de Refugiados y Tamizaje de Contratación. En estas tareas, la evidencia se construye para ser ambigua en la decisión; cualquier diferencia sistemática en los resultados entre casos musulmanes y de control se atribuye al sesgo de identidad.

RAG Acoplado al Tiempo

Un subconjunto de prompts es evaluado con contexto recuperado de cuatro grupos: vacío, noticias neutrales, cobertura de conflictos históricos y cobertura de conflictos recientes (publicados dentro de los últimos 30 días). Esto operacionaliza el mecanismo de "acoplamiento temporal" donde el sesgo puede escalar con los ciclos de noticias actuales.

Modelos y Métricas

Se evaluaron seis modelos de frontera: GPT-4o, Claude Opus 4, Mistral Large, Llama-3.3-70B, Qwen2.5-72B y DeepSeek-V3.
Las métricas clave incluyen:

• Tasa de Violencia (V): La fracción de completitudes que asocian la identidad focal con la violencia o la criminalidad.
• Asimetría de Decisión ($\Delta$): La diferencia absoluta media en las puntuaciones de decisión normalizadas entre pares emparejados en tareas agénticas.
• Índice de Amplificación de CoT (CAI): La relación de las tasas de violencia en CoT frente a la Completitud Directa.
• Coeficiente de Acoplamiento Temporal ($\delta_t$): El aumento marginal en la tasa de violencia debido a la recuperación de noticias de conflictos recientes.

Resultados Clave

1. La Cadena de Pensamiento Amplifica el Sesgo

Contrario a la suposición de que la deliberación suprime los estereotipos, el razonamiento CoT amplifica el sesgo antimusulmán. A través de los seis modelos, el CoT aumentó las tasas de completitud violenta en un 12–34% con respecto a la completitud directa.

• Mecanismo: El análisis de logit-lens revela que, si bien el entrenamiento de alineación suprime los tokens violentos en la capa final (en C1), el rastro de razonamiento en C2 hace que surjan asociaciones latentes (por ejemplo, invocar estadísticas grupales o enmarcar estereotipos como expectativas "razonables") antes de que el mecanismo de supresión final se active.

2. La Asimetría de Decisión Agéntica Persiste

En entornos agénticos, los modelos exhiben una asimetría de decisión de 9 a 22 puntos porcentuales contra casos identificados como musulmanes bajo evidencia idéntica.

• Severidad: La brecha más grande (14–27 pp) ocurrió en el Resumen de Reclamaciones de Refugiados, la tarea de mayor riesgo.
• Independencia: El análisis de correlación muestra que los prompts que elicitan un alto sesgo en la completitud directa (C1) no necesariamente elicitan una alta asimetría de decisión (C3). Aproximadamente el 38% de los elementos de alta asimetría mostraron bajas tasas de violencia en C1, lo que indica que el sesgo de decisión no es meramente una asociación superficial, sino un modo de falla distinto.

3. Sesgo Acoplado al Tiempo

El sesgo está fuertemente acoplado al contexto recuperado. Cuando los modelos recuperaron noticias de conflictos recientes, las tasas de violencia aumentaron entre un 18% y un 27% en comparación con la recuperación neutral. Esto sugiere que los productos integrados con RAG se volverán mensurablemente más sesgados durante períodos de tensión geopolítica aumentada sin que haya un cambio en los pesos subyacentes del modelo.

4. Pobre Transferencia de Mitigaciones

Se probaron cuatro mitigaciones estándar basadas en prompts (prompting cultural, primado afectivo, auto-debiasing, y el proceso multietapa de generar-criticar-revisar).

• Éxito en C1: Estas mitigaciones redujeron el sesgo en la completitud directa entre un 24% y un 4–16%.
• Falla en C2/C3: La efectividad disminuyó significamente en los entornos de CoT y agénticos. Crucialmente, la asimetría de decisión ($\Delta$) permaneció esencialmente sin cambios a través de todas las mitigaciones. El artículo concluye que las defensas efectivas para la completitud de un solo turno son insuficientes para los regímenes de razonamiento y agénticos donde se concentra el daño en el mundo real.

5. Disparidades Dialectales

Las tasas de sesgo en los dialectos árabes (egipcio y levantino) superaron la línea base de inglés por 9 a 17 puntos porcentuales. Los modelos de pesos abiertos mostraron las brechas más grandes, sugiriendo que el entrenamiento de seguridad alineado en inglés no se generaliza eficazmente a las entradas dialectales.

Significancia y Reivindicaciones

El artículo sostiene que la comprensión actual del sesgo antimusulmán es incompleta porque está anclada a un paradigma de despliegue desactualizado (completitud de un solo turno).

• La Superficie de Daño ha Cambiado: El hallazgo más trascendental es que la asimetría de decisión sobre evidencia idéntica es esencialmente inafectada por las mitigaciones actuales basadas en prompts. Un modelo auditado y aprobado por tener bajas tasas de violencia en la completitud directa puede, simultáneamente, producir resultados sistemáticamente peores para individuos musulmanes en tareas agénticas de alto riesgo (procesamiento de refugiados, préstamos, contratación).
• Falla Estructural: El sesgo en los entornos agénticos y de razonamiento parece ser una asimetría representacional estructural que el filtrado de salida superficial (entrenamiento de alineación) no logra abordar.
• Llamado a la Acción: Los autores lanzan MIRAGE y un entorno de evaluación abierto para apoyar la investigación de mitigación dirigida. Argumentan que el trabajo futuro debe ir más allá de la completitud de sesgo para abordar el alineamiento en el tiempo de razonamiento, la seguridad consciente de la recuperación y el transferencia de alineación multilingüe, particularmente para los dialectos árabes.

El artículo se posiciona no como una medida de "islamofobia" general, sino como una auditoría específica de los cambios de respuesta condicionados por la entrada en condiciones de despliegue realistas, resaltando una brecha crítica entre las defensas de seguridad actuales y los riesgos operativos reales de los LLM de frontera.