First, Do No Harm (With LLMs): Mitigating Racial Bias via Agentic Workflows

Resumen Técnico: Mitigación del Sesgo Racial en LLMs Médicos mediante Flujos de Trabajo Agénticos

1. Planteamiento del Problema

La integración de Modelos de Lenguaje Grande (LLM) en entornos clínicos para la generación de texto médico y la toma de decisiones plantea riesgos críticos de sesgo racial. A pesar de que estudios previos han identificado sesgos en modelos médicos, la mayoría se centra en modelos individuales y ofrece pocas soluciones de mitigación.

• Contexto: La desigualdad estructural en la atención sanitaria (ej. tasas de mortalidad materna más altas en mujeres afroamericanas) puede ser perpetuada o amplificada por la IA si los sistemas heredan sesgos de los datos de entrenamiento.
• Marco Regulatorio: El estudio utiliza la Ley de IA de la Unión Europea (EU AI Act) como lente de gobernanza. Dado que los sistemas de IA médica pueden clasificarse como de "alto riesgo" (Artículo 6 y Anexo III), la normativa exige gestión de riesgos, gobernanza de datos, transparencia y supervisión humana. El estudio aplica estos principios para estructurar la evaluación y documentación, más que como una auditoría legal formal.

2. Metodología

La investigación se estructuró en dos experimentos principales que evalúan cinco LLMs líderes: GPT-4.1, Llama 3.3, DeepSeek V3, Grok 3 y Gemini 2.5 Pro.

A. Diseño Experimental (Experimento I):
Se evaluaron dos tipos de sesgo racial utilizando dos tareas distintas:

1. Generación de Casos de Pacientes Sintéticos (Sesgo Implícito):
   • Se utilizaron distribuciones epidemiológicas estratificadas por raza en EE. UU. para 10 enfermedades (ej. COVID-19, VIH, Lupus).
   • Los modelos generaron casos sintéticos bajo prompts estructurados.
   • Métrica: Se comparó la distribución racial generada por el modelo con la realidad epidemiológica usando la prueba de Chi-cuadrado de bondad de ajuste (ajustada con Benjamini-Hochberg).
2. Ranking de Diagnóstico Diferencial (Sesgo Explícito):
   • Se utilizaron 10 casos clínicos reales (del benchmark NEJM Healer) donde la identidad racial del paciente se varió sistemáticamente (Negro, Blanco, Hispano, Asiático).
   • Los modelos generaron listas de diagnósticos diferenciales.
   • Métrica: Se comparó el ranking de los diagnósticos generados con una lista de expertos. Se utilizó la prueba Mann-Whitney U para evaluar diferencias en los rangos entre grupos raciales, midiendo: valor p medio, valor p mediano, tasa de detección de sesgo y diferencia media.

B. Implementación de Flujo de Trabajo Agéntico (Experimento II):

• Selección del Modelo: DeepSeek V3 fue seleccionado para la siguiente fase debido a su mejor desempeño en la mitigación de sesgo explícito.
• Arquitectura Agéntica: Se implementó un flujo de trabajo utilizando Flowise que integra:
  • Agente de Búsqueda (Search Agent): Conectado a una API de búsqueda web (Brave Search) para obtener información contextual.
  • Agente RAG (Retrieval-Augmented Generation): Utiliza una base de conocimientos vectorial con casos reales y listas de diagnósticos expertos.
  • Mecanismo de Fusión: El agente RAG prioriza la base de conocimientos (90%) sobre la búsqueda web (10%) para generar el diagnóstico final.
• Objetivo: Evaluar si este flujo de trabajo basado en recuperación (RAG) puede mitigar el sesgo racial en comparación con el modelo independiente.

3. Contribuciones Clave

1. Evaluación Multi-Métrica: Propone un marco de evaluación que combina métricas estadísticas (Chi-cuadrado, Mann-Whitney) para distinguir entre sesgo implícito (distribución de datos) y explícito (toma de decisiones clínicas).
2. Marco de Gobernanza Práctico: Aplica los principios de la Ley de IA de la UE (transparencia, trazabilidad, documentación) directamente al diseño de prompts y flujos de trabajo experimentales.
3. Validación de Flujos Agénticos: Demuestra empíricamente que los flujos de trabajo agénticos con RAG pueden reducir el sesgo explícito en tareas de diagnóstico, ofreciendo una ruta técnica para la mitigación más allá del ajuste de pesos del modelo.
4. Reproducibilidad: Publicación completa de prompts, conjuntos de datos y pipelines de código en un repositorio público.

4. Resultados Principales

Experimento I (Comparación de Modelos):

• Sesgo Implícito (Generación de Casos): Todos los modelos se desviaron significativamente de las distribuciones raciales reales. GPT-4.1 mostró la menor desviación global (Chi-cuadrado medio de 152.23), seguido de cerca por DeepSeek V3.
• Sesgo Explícito (Diagnóstico Diferencial):
  • DeepSeek V3 obtuvo los mejores resultados globales: mayor valor p medio (0.7859) y mediano (0.8834), y la menor diferencia media (0.2588).
  • GPT-4.1 y DeepSeek V3 no mostraron casos significativos de sesgo en la tasa de detección, mientras que otros modelos (Grok 3, Llama 3.3) sí lo hicieron.
  • Conclusión: DeepSeek V3 superó a los demás en la tarea de toma de decisiones clínicas.

Experimento II (Evaluación del Flujo Agéntico con DeepSeek V3):
La integración de DeepSeek V3 en el flujo de trabajo agéntico (RAG + Búsqueda) mostró mejoras en la mitigación del sesgo explícito:

• Mejora en valores p: El valor p medio aumentó de 0.7859 (modelo solo) a 0.8207 (agente). El valor p mediano alcanzó 1.0000.
• Reducción de Diferencias: La diferencia media disminuyó de 0.2588 a 0.1639, indicando una mayor equidad en los rankings de diagnóstico entre grupos raciales.
• Matiz: La tasa de detección de sesgo aumentó ligeramente (de 0.0000 a 0.0167), lo que sugiere que la mejora no fue uniforme en todas las métricas, pero la tendencia general fue hacia una reducción del sesgo medido.

5. Significado y Conclusiones

El estudio concluye que:

1. Los LLMs actuales aún presentan sesgos: Incluso los modelos más avanzados desvían sus distribuciones de datos y decisiones clínicas respecto a la realidad epidemiológica y las guías de expertos.
2. La arquitectura importa: Los flujos de trabajo agénticos basados en recuperación (RAG) pueden actuar como un mecanismo de mitigación efectivo para el sesgo explícito en tareas de diagnóstico, al anclar las respuestas en bases de conocimientos verificadas en lugar de depender únicamente de la probabilidad generativa del modelo.
3. Evaluación Rigurosa: Es imperativo utilizar evaluaciones de múltiples métricas y considerar la gobernanza (como la Ley de IA de la UE) desde las etapas de desarrollo y prueba.

Trabajo Futuro:
Los autores sugieren futuras investigaciones para incluir componentes de "humano en el bucle" (human-in-the-loop), evaluar la precisión clínica real (no solo el ranking) y aplicar estos flujos agénticos a la generación de texto médico sintético, no solo al diagnóstico.