Resumen Técnico: AgentFairBench

Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) se despliegan cada vez más para realizar acciones trascendentales —evaluar solicitantes de empleo, recomendar créditos o realizar el triaje de pacientes— sin embargo, los paradigmas actuales de evaluación de equidad siguen estancados en el "nivel de la respuesta". Los benchmarks existentes (por ejemplo, BBQ, StereoSet) califican las salidas textuales de los modelos en respuesta a prompts. No obstante, existe una brecha estructural: un modelo puede producir paridad a nivel de tokens (respondiendo de manera uniforme a las sondas demográficas) y, aun así, ejecutar decisiones, llamadas a herramientas y trayectorias de múltiples pasos sistemáticamente diferentes cuando esas respuestas se operacionalizan en decisiones. Este "enmascaramiento" del sesgo significa que la equidad a nivel de respuesta no garantiza la equidad a nivel de acción. Además, los benchmarks de agentes actuales o bien se centran en dominios únicos, carecen de instrumentación demográfica, o no logran considerar cómo los andamiajes agénticos (por ejemplo, cadena de pensamiento, uso de herramientas) podrían amplificar en lugar de atenuar el sesgo.

Metodología

El artículo presenta AgentFairBench, un benchmark multi-dominio a nivel de acción fundamentado en el Marco de Conducción de Sesgo (BCF, por sus siglas en inglés). El marco modela un agente como una tupla de política, tarea, memoria y repertorio, proponiendo que la disparidad puede ser enmascarada, preservada, amplificada o generada a medida que pasa a través de estos componentes.

Elementos Centrales de Diseño

1. Conjuntos de Contrafactuales Emparejados: El benchmark utiliza perfiles sintéticos demográficamente neutrales donde la única variable es una señal de raza $\times$ género codificada por nombre (siguiendo la tradición de Bertrand–Mullainathan). Cada conjunto incluye seis variantes (Blanco-M, Blanco-F, Negro-M, Negro-F, Hispano-M, Hispano-F) para aislar el efecto de la señal demográfica.
2. Tres Dominios Regulatorios:
   • Contratación: Anclado a las directrices de impacto adverso de la EEOC y la Ley Local 144 de NYC. Salidas: Decisión de ascenso (booleano) y puntuación de calidad (0–100).
   • Préstamos: Anclado a ECOA/Regulación B. Salidas: Decisión de aprobación (booleano) y nivel de APR (1–5).
   • Triaje Médico: Anclado a marcos de gobernanza de IA para IA de salud de alto riesgo. Salidas: Decisión de escalada (booleano) y puntuación de agudeza (1–5).
3. Andamiajes de Agentes (Loci de Entrada del BCF): El benchmark evalúa agentes a través de cuatro niveles de agencia creciente para probar la proposición de "Super-aditividad" del BCF:
   • C0: Prompting directo (zero-shot).
   • C2: Cadena de pensamiento (traza de razonamiento).
   • C3: Deliberación multi-agente (agente revisor + agente de decisión).
   • C4: Aumentado con herramientas (recolección de información antes de la decisión).
4. Métricas:
   • Tasa de Volteo Contrafactual (CFR): La fracción de conjuntos emparejados donde la decisión binaria no es unánime a través de las seis condiciones demográficas.
   • Diferencia Media Absoluta de Puntuación (MASD): La dispersión media entre la puntuación máxima y mínima asignada a través de las seis condiciones.
   • Disparidad en la Tasa de Acción: Diferencias en las tasas de decisión positiva entre grupos.
   • Disparidad de Invocación de Herramientas ($\Delta_{tool}$): La dispersión en las tasas de invocación de herramientas entre grupos (solo para C4).
5. Rigor Estadístico: El entorno de evaluación utiliza intervalos de confianza de bootstrap BCa, pruebas de McNemar y Wilcoxon emparejadas, y corrección de FDR de Benjamini–Hochberg. Crucialmente, introduce un suelo de ruido emparejado por aridad: se demuestra que comparar la dispersión de puntuación de 6 grupos contra un suelo de ruido de 2 ejecuciones pareadas sobrestima la disparidad en aproximadamente 2.4$\times$. El benchmark corrige esto comparando la dispersión observada contra una dispersión de ruido de 6 grupos derivada de ejecuciones de test-retest.

Implementación

AgentFairBench se distribuye como un paquete de Python instalable mediante pip (agentfairbench) con una huella de dependencia de solo NumPy. Incluye un ranking en vivo con una división privada reservada y un "canario de contaminación" para evitar el engaño. El costo de ejecutar una evaluación completa se estima en dígitos sencillos de dólares por modelo.

Resultados Clave (Estudio Piloto)

Los autores realizaron un piloto sobre claude-haiku-4-5 (864 decisiones a través de 36 perfiles, 6 condiciones demográficas y 4 andamiajes, además de una ejecución de test-retest).

• Hallazgo Metodológico: Una comparación ingenua de la MASD de 6 grupos contra un suelo de ruido de pares de 2 ejecuciones sugirió una señal de disparidad de aproximadamente 2.4$\times$ el suelo de ruido. Sin embargo, al corregir por aridad estadística (comparando la dispersión de 6 grupos contra un suelo de ruido de 6 grupos), la disparidad observada fue de 0.83$\times$ el suelo de ruido.
• Resultado Nulo: Contra el suelo de ruido emparejado por aridad y utilizando pruebas de grupo ómnibus, ninguno de los 120 contrastes pareados y ninguno de los 9 contrastes ómnibus sobrevivió a la corrección de comparaciones múltiples. El piloto no encontró ningún efecto demográfico distinguible del ruido de muestreo para este modelo.
• Validez del Instrumento: Una prueba de propiedad de "sesgo plantado" (inyectar una penalización de -25 puntos para un grupo específico) confirmó que el entorno recupera con éxito las disparidades conocidas, demostiendo que el resultado nulo no se debe a un instrumento insensible.
• Efectos de Andamiaje: No se encontró evidencia de amplificación de andamiaje (Proposición P3 del BCF); los aumentos aparentes de disparidad a través de los andamiajes estaban dentro del suelo de ruido.
• Disparidad de Herramientas: Aunque la $\Delta_{tool}$ era medible, los recuentos del piloto eran demasiado pequeños para extraer conclusiones más allá del ruido de muestra pequeña.

Significado y Reivindicaciones

El artículo posiciona a AgentFairBench no como una declaración definitiva sobre la equidad de todos los LLM, sino como un instrumento sólido, sensible y listo para la adopción para medir la disparidad a nivel de acción.

1. Cerrar la Brecha de Medición: Desplaza el enfoque de "qué dicen los modelos" a "qué hacen los modelos", abordando la brecha estructural donde la paridad a nivel de token coexiste con la disparidad a nivel de acción.
2. Corrección Metodológica: Identifica y corrige un error estadístico específico en la medición de la disparidad (desajuste de aridad), demostrando que las comparaciones ingenuas pueden identificar erróneamente el ruido como sesgo.
3. Operacionalización de la Teoría: Proporciona la primera instanciación empírica del Marco de Conducción de Sesgo, probando proposiciones relativas al enmascaramiento (P2) y la super-aditividad (P3) a través de múltiples dominios y profundidades de andamiaje.
4. Reproducibilidad y Prevención de Engaños: Al proporcionar un entorno de bajo costo y código abierto con una división de prueba privada y canarios de contaminación, permite a la comunidad escalar estudios confirmatorios a través de diversas familias de modelos, yendo más allá de los resultados auto-reportados.

Los autores declaran explícitamente que el resultado nulo del piloto sobre claude-haiku-4-5 es un hallazgo honesto a una escala específica ($n=12$ conjuntos emparejados por celda) y no se generaliza a todos los agentes. El benchmark está diseñado para facilitar los estudios con potencia estadística y multi-modelo requeridos para detectar efectos reales si estos existen.