Resumen Técnico: Equidad en las Explicaciones de los Modelos de Lenguaje Grande

1. Declaración del Problema

Aunque existe una extensa investigación sobre la equidad a nivel de decisión en los Modelos de Lenguaje Grande (LLM), centrada en si los atributos protegidos se correlacionan con resultados adversos, existe una brecha crítica en cuanto a la equidad en las explicaciones. Este artículo define la equidad en las explicaciones como la variación sistemática en la calidad, profundidad, tono y sofisticación lingüística de las justificaciones proporcionadas por los LLM entre diferentes grupos demográficos, incluso cuando la decisión subyacente es idéntica.

Los autores argumentan que un modelo puede producir decisiones equilibradas mientras las explica de manera desigual (por ejemplo, ofreciendo justificaciones elaboradas y respetuosas a un grupo y justificaciones cortantes y despectivas a otro). Esta disparidad es distinta de la equidad en la decisión y tiene una urgencia regulatoria significativa, especialmente a la luz de la Ley de Inteligencia Artificial de la UE (Artículo 13), que exige que los sistemas de IA de alto riesgo proporcionen justificaciones transparentes suficientes para que los individuos comprendan y impugnen las decisiones. Si la calidad de la explicación es sistemáticamente menor para los grupos minoritarios, el cumplimiento del "derecho a la explicación" se ve comprometido.

2. Metodología

2.1 Diseño Experimental

El estudio emplea un diseño empírico controlado utilizando la sustitución de nombres dentro de plantillas de prompts, una metodología estándar en la investigación de auditoría de estilo de correspondencia.

• Dominios: Se seleccionaron cuatro dominios de decisión con consecuencias: Contratación, Triaje Médico, Evaluación de Crédito y Juicio Legal.
• Plantillas: Se construyeron 80 plantillas de prompts (20 por dominio). En cada par, el contenido del escenario (calificaciones, circunstancias, resultado de la decisión) se mantiene constante, mientras que el atributo demográfico (nombre) se varía para representar diferentes grupos (Género, Raza, Edad, Religión e identidades interseccionales).
• Modelos: Se evaluaron cinco LLM: GPT-4.1, Claude Sonnet, LLaMA 3.3 70B, GPT-OSS 120B y Qwen3 32B.
• Volumen de Datos: Se evaluaron hasta 400 pares de prompts en todos los modelos. Para la métrica de Explicación Vinculada a la Decisión, se elicita una explicación contrastiva para cada prompt (justificando la decisión opuesta en el mismo escenario) para calcular proxies de fidelidad.

2.2 La Taxonomía de Equidad en las Explicaciones (EFT)

El artículo introduce la Taxonomía de Equidad en las Explicaciones (EFT), un marco pragmático que comprende cinco dimensiones formalmente definidas y operacionalizables. Estas dimensiones son medibles mediante métricas de caja negra sin acceso a los internos del modelo:

1. Disparidad de Verbosidad: Medida por la cantidad de palabras y la profundidad de la elaboración (número de razones semánticamente distintas identificadas mediante agrupación de incrustaciones de oraciones).
2. Disparidad de Sentimiento: Medida por la puntuación compuesta VADER para evaluar la valencia emocional (positiva, negativa, neutral).
3. Disparidad de Atenuación Epistémica: Medida por la Puntuación de Densidad de Atenuación (HDS), una métrica basada en léxico ponderado que cuantifica la frecuencia de marcadores de incertidumbre (por ejemplo, "podría", "posiblemente", "incierto").
4. Disparidad de Explicación Vinculada a la Decisión: Medida por el Proxy de Fidelidad de la Explicación (EFP). Esta heurística calcula la disimilitud estructural (mediante la distancia coseno de las incrustaciones) entre una explicación para una decisión ($d$) y una explicación para la decisión opuesta ($\neg d$) en el mismo escenario. Un EFP más bajo indica que la explicación es invariante a la decisión, lo que sugiere una falta de razonamiento genuino.
5. Disparidad de Complejidad Léxica: Medida por el Nivel de Grado Flesch-Kincaid (FKGL), la Relación Tipo-Token (TTR) y la densidad de términos de dominio.

2.3 Análisis Estadístico

Las disparidades se cuantificaron utilizando diferencias absolutas entre pares demográficos. La significancia estadística se probó utilizando la prueba de rangos con signo de Wilcoxon de una muestra, con tamaños de efecto calculados mediante la $d$ de Cohen. Las comparaciones múltiples se corrigieron utilizando el procedimiento Benjamini-Hochberg (BH).

3. Contribuciones Clave

1. Taxonomía Operacional: La definición de la EFT, proporcionando cinco dimensiones distintas y medibles de disparidad a nivel de explicación.
2. Métricas Novedosas: La introducción de HDS y EFP como heurísticas prácticas de caja negra para auditar la equidad en las explicaciones sin requerir pesos del modelo o acceso interno.
3. Punto de Referencia Empírico: Un estudio a gran escala a través de 80 plantillas de prompts, 4 dominios y 5 LLM, con resultados que muestran disparidades sistemáticas en todas las métricas.
4. Análisis de Mitigación: Una evaluación de dos intervenciones de prompts ("Ciego" y "Equidad") en los modelos de mayor disparidad para determinar si las instrucciones a nivel de despliegue pueden resolver estos problemas.

4. Resultados Clave

4.1 Existencia de Disparidades (RQ1)

Las ocho métricas de la EFT (incluidas las submétricas de complejidad léxica) mostraron disparidades estadísticamente significativas en todos los pares de prompts ($p_{BH} < 10^{-62}$). Los tamaños de efecto ($d$ de Cohen) variaron de pequeños a grandes:

• Efectos Grandes: Complejidad Léxica (FKGL, $d=0.856$) y Atenuación Epistémica (HDS, $d=0.810$).
• Efectos Medianos: Profundidad de elaboración, Sentimiento, TTR, Densidad de Dominio y EFP ($d \approx 0.57–0.77$).
• Efectos Pequeños: Verbosidad (Conteo de Palabras, $d=0.457$).
  La distribución de las disparidades fue asimétrica a la derecha, lo que significa que, aunque las disparidades promedio fueron moderadas, pares demográficos específicos exhibieron desigualdad extrema.

4.2 Ejes Demográficos (RQ2)

Las disparidades variaron según el eje demográfico, pero no siguieron un único patrón uniforme de daño:

• Religión: Mostró la mayor disparidad media ($d=0.822$), particularmente en la profundidad de la elaboración y la complejidad léxica, aunque el tamaño de la muestra para este eje fue pequeño ($n=40$).
• Direccionalidad: La dirección de la disparidad no fue uniforme. Por ejemplo, los solicitantes con nombres musulmanes recibieron explicaciones significativamente más cortas y menos elaboradas que los solicitantes con nombres cristianos. Por el contrario, las solicitantes mujeres recibieron explicaciones más largas y elaboradas que los solicitantes hombres, aunque esto no se correlacionó con un sentimiento más positivo.

4.3 Variación del Modelo (RQ3)

La elección del modelo se asoció fuertemente con la magnitud de la disparidad:

• Qwen3 32B exhibió las disparidades más altas, con disparidades de verbosidad 5.9 veces mayores que las de LLaMA 3.3 70B. Frecuentemente producía salidas minimalistas para un grupo demográfico mientras generaba respuestas detalladas para otro en escenarios idénticos.
• GPT-OSS 120B mostró la mayor disparidad en el proxy EFP, particularmente en el dominio legal, lo que sugiere que sus explicaciones eran menos sensibles a los cambios de decisión para ciertos grupos.
• GPT-4.1 y LLaMA 3.3 70B fueron los modelos más equitativos, clasificándose en 4º y 5º lugar, aunque aún exhibieron disparidades estadísticamente significativas.

4.4 Mitigación mediante Prompts (RQ4)

Se probaron dos intervenciones de prompts ("Ciego" y "Equidad") en Qwen3 32B y GPT-OSS 120B:

• Proxy EFP: Ambas intervenciones resultaron en reducciones significativas (78–95%) en la disparidad del EFP. Sin embargo, los autores señalan que esto es ambiguo; podría indicar una mayor consistencia en la sensibilidad a la decisión o simplemente explicaciones genéricas uniformes.
• Dimensiones Estilísticas: Ninguna intervención produjo reducciones significativas en la verbosidad, el sentimiento, la atenuación o la complejidad léxica. En algunos casos, las disparidades aumentaron (aunque no significativamente).
• Conclusión: Los prompts por sí solos son insuficientes para resolver las desigualdades estilísticas en las explicaciones.

5. Significado y Afirmaciones

El artículo afirma que la equidad en las explicaciones es una dimensión distinta, medible y con consecuencias legales para la seguridad de la IA, separada de la equidad en la decisión.

• Implicaciones Regulatorias: Los hallazgos sugieren que las organizaciones pueden satisfacer la "letra" de la Ley de IA de la UE (proporcionar una explicación) mientras fallan en su "espíritu" (proporcionar una explicación de calidad y accesibilidad iguales). La EFT ofrece un marco de auditoría reproducible y de caja negra para detectar estas asimetrías antes de la ventana de aplicación de 2026.
• Guía de Despliegue: El estudio identifica la selección de modelos como la intervención de mayor apalancamiento. Se aconseja a los profesionales que las estrategias simples de prompts no pueden resolver las disparidades estilísticas; en cambio, abordar estas brechas probablemente requiera intervenciones a nivel de entrenamiento (por ejemplo, datos contrastivamente equilibrados o ajuste fino dirigido).
• Limitaciones: Los autores declaran explícitamente que el EFP es un proxy heurístico que requiere validación humana, que el estudio se basa en métricas automatizadas sin verdad fundamental calificada por humanos, y que el diseño de sustitución de nombres captura señales correlacionales en lugar de atribución causal a atributos demográficos específicos.

En resumen, el artículo establece que los LLM justifican sistemáticamente las decisiones de manera diferente basándose en el encuadre demográfico, que estas disparidades son robustas a través de modelos y dominios, y que no pueden resolverse fácilmente mediante prompts a nivel de despliegue, lo que requiere un cambio hacia la remediación a nivel de entrenamiento y una auditoría automatizada rigurosa.