💻 computer science

Quantifying and Mitigating Gender Bias in Legal Large Language Models:A Counterfactual Fairness Framework

Este artículo audita los modelos de lenguaje extensos legales para detectar sesgos de género en los cálculos de indemnizaciones por despido improcedente en China, revelando que la inestabilidad contrafáctica, en lugar del sesgo direccional, es el principal modo de falla, y propone dos remedios efectivos —Calibración Simétrica Contrafáctica y Ajuste Fino con Restricciones de Equidad— para mitigar estos errores abordando la falta de conocimiento de las fórmulas.

Autores originales: Yikuan Feng, Xiao Li

Publicado 2026-08-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yikuan Feng, Xiao Li

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entras en una biblioteca gigante y de alta tecnología donde los bibliotecarios son robots superinteligentes. Estos robots han leído casi todos los libros jamás escritos y pueden responder preguntas sobre cualquier cosa, desde recetas de cocina hasta viajes espaciales. Pero hay un detalle: a veces, cuando les haces una pregunta, pueden darte una respuesta diferente solo porque cambiaste un pequeño detalle sobre ti, como tu nombre o tu género. Esto es algo muy importante en el mundo de la "Inteligencia Artificial" (IA), específicamente en un campo llamado "Aprendizaje Automático" (Machine Learning). Piensa en estos modelos de IA como cerebros digitales que aprenden patrones a partir de datos. Uno de los mayores temores de científicos y abogados es el "sesgo". El sesgo es como un par de gafas tintadas; si la IA usa gafas que hacen que vea a los hombres de forma distinta a las mujeres, podría tomar decisiones injustas. Normalmente, nos preocupa que la IA sea consistentemente injusta, como que siempre dé mejores respuestas a los hombres que a las mujeres. Pero, ¿y si la IA no es consistentemente injusta, sino simplemente errática de forma aleatoria? ¿Qué pasaría si te da una respuesta excelente un día y una terrible al siguiente, solo porque cambiaste una palabra en tu pregunta? Ese es el misterio que este artículo intenta resolver.

Los investigadores de este estudio decidieron poner a prueba a cuatro de los "Modelos de Lenguaje Jurídicos" más populares del mundo (piensa en ellos como robots superabogados). Eligieron un trabajo muy específico y con mucha carga matemática: calcular cuánto dinero debería recibir un trabajador si es despedido injustamente en China. La ley aquí es como una receta estricta: si trabajaste durante 5 años y ganabas $1,000 al mes, el robot debe calcular exactamente $10,000. No hay margen para suposiciones. Si el robot dice $12,000, está mal. Si dice $8,000, también está mal. Los científicos crearon 50 historias diferentes de "qué pasaría si". En cada historia, le pidieron al robot que calculara la indemnización para un hombre, y luego le hicieron exactamente la misma pregunta, pero cambiando el género del trabajador a mujer. Hicieron esto 400 veces en total.

Aquí aparece el giro sorprendente que encontraron. Esperaban que los robots fueran consistentemente sesgados, como una balanza que siempre se inclina demasiado hacia la izquierda. En cambio, encontraron algo mucho más extraño: inestabilidad. Los robots no favorecían consistentemente a hombres o mujeres. En su lugar, actuaban como una calculadora nerviosa. Para la mayoría de las historias, los robots daban la misma respuesta tanto para hombres como para mujeres. Pero para algunas historias específicas, los robots se volvían locos. Le daban a un hombre una indemnización enorme y a la mujer una mínima, o viceversa, sin ningún patrón que explicara el porqué. Era como un lanzamiento de moneda que a veces caía en cara, otras en cruz, y otras de canto. Los investigadores llaman a esto "inestabilidad contrafactual". Es un tipo de injusticia aterradora porque no puedes arreglarla simplemente añadiendo un "factor de corrección" al cerebro del robot. Si el robot es errático de forma aleatoria, no puedes predecir cuándo cometerá un error.

Para solucionar esto, el equipo probó dos "vendajes" diferentes. El primero fue un truco ingenioso llamado Calibración Simétrica Contrafactual (CSC). Imagina que tienes un robot que a veces te da la respuesta incorrecta. En lugar de intentar reentrenar al robot (lo cual es difícil y costoso), simplemente le pones una red de seguridad debajo. Cada vez que el robot da una respuesta diferente para un hombre y una mujer, ignoras al robot y simplemente usas la fórmula matemática del libro de leyes. Esto funcionó de maravilla. Para algunos robots, ¡corrigió la precisión legal hasta en 72 puntos porcentuales! Fue como atrapar un plato que cae antes de que toque el suelo.

El segundo arreglo fue una cirugía más profunda llamada Ajuste Fino con Restricción de Equidad (FCFT). Aquí, los investigadores tomaron un robot más pequeño y le enseñaron la fórmula matemática directamente, mientras también le decían: "Oye, asegúrate de tratar a hombres y mujeres exactamente igual". Descubrieron algo muy importante: los robots no estaban siendo malos o sexistas a propósito. ¡Simplemente eran malos en matemáticas! La razón principal por la que daban respuestas incorrectas era que en realidad no conocían la fórmula dentro del libro de leyes. Una vez que se les enseñó la fórmula, el "sesgo de género" desapareció en su mayor parte. Resulta que los robots no llevaban gafas tintadas; simplemente no sabían hacer la suma.

Al final, este artículo nos dice que, cuando usamos la IA para decisiones legales, no podemos confiar solo en que "hable" como un abogado. Si la ley es un problema matemático, la IA necesita actuar como una calculadora, no como un narrador de historias. El mayor peligro no es que la IA odie a un grupo de personas; es que pueda estar impredeciblemente confundida. La buena noticia es que podemos construir redes de seguridad para atrapar esos errores, y podemos enseñar a los robots las reglas para que dejen de adivinar. Es un recordatorio de que, en el mundo de la IA, a veces lo más importante no es qué tan inteligente suena el robot, sino si puede hacer matemáticas simples sin tropezar con sus propios pies.

Resumen Técnico: Cuantificación y Mitigación del Sesgo de Género en Modelos de Lenguaje Jurídicos de Gran Escala

1. Planteamiento del Problema

El artículo aborda el problema crítico del sesgo algorítmico en los modelos de lenguaje de gran escala (LLM) jurídicos, centrándose específicamente en el sesgo de género dentro del contexto de la indemnización por despido improcedente bajo el Artículo 87 de la Ley de Contratos Laborales (LCL) de China. A diferencia de los sistemas de derecho consuetudinario (common law) donde los resultados son probabilísticos (por ejemplo, el riesgo de reincidencia), este dominio ofrece un banco de pruebas experimental "limpio" y único: el monto de la indemnización justa está determinado de forma unívoca por una fórmula estatutaria ( $Indemnización = Antigüedad \times Salario\ Mensual \times 2$ ).

Los autores argumentan que la investigación de sesgos existente suele pasar por alto un modo de fallo específico: la inestabilidad contrafactual. Mientras que el trabajo previo se centra en el sesgo direccional (por ejemplo, favorecer sistemáticamente a un género), este estudio investiga si la sustitución de un único token de género en un prompt que, por lo demás, es idéntico, provoca desviaciones impredecibles y específicas para cada caso en el monto de la indemnización recomendado. Tal inestabilidad viola la equidad contrafactual (Kusner et al., 2017) y socava la justicia procesal, ya que introduce una "arbitrariedad técnica" donde atributos legalmente irrelevantes (el género) alteran los resultados de manera impredecible.

2. Metodología

2.1 Marco de Equidad Contrafactual

El estudio define el sesgo de género mediante la Tasa de Desplazamiento de Sesgo ( $\Delta$ ):
$\Delta = \frac{R_{masculino} - R_{femenino}}{\bar{R}}$
Donde $R_{masculino}$ y $R_{femenino}$ son los montos de indemnización recomendados para escenarios idénticos que difieren solo en el género del demandante, y $\bar{R}$ es su promedio.

Verdad de Referencia ( $R^*$ ): El valor estatutario calculado mediante la fórmula de la LCL.
Cumplimiento Legal: Un resultado es conforme si se encuentra dentro de un rango de $\pm 10\%$ de $R^*$ .
Umbral de Sesgo: Un escenario se considera sesgado si $|\Delta| > 0.05$ .

2.2 Diseño Experimental

Escenarios: Se construyeron 50 pares de escenarios contrafactuales, variando la antigüedad (1–12 años), el salario (4k–30k CNY) e incluyendo contexto legalmente irrelevante (educación, estado familiar) para simular ruido realista.
Modelos: Se evaluaron cuatro LLM principales a través de sus APIs oficiales:
- Qwen 3.6 Plus (Alibaba)
- DeepSeek V4 Flash (DeepSeek)
- Gemini 3.1 Flash Lite (Google)
- Claude Sonnet 4.6 (Anthropic)
Protocolo de Inferencia: Se realizaron 400 inferencias deterministas ( $K=1$ , temperatura $= 0$ ). Este diseño aisla la sensibilidad determinista al token de género, excluyendo la varianza de muestreo.

2.3 Estrategias de Remediación

Se propusieron y probaron dos estrategias complementarias:

Calibración Simétrica Contrafactual (CSC): Una red de seguridad de post-procesamiento para modelos de código cerrado. Si $|\Delta| > 0.05$ , ambos resultados de género son reemplazados por el valor estatutario $R^*$ . Esto no requiere el reentrenamiento del modelo.
Ajuste Fino con Restricción de Equidad (FCFT): Un enfoque a nivel de parámetros para modelos de código abierto (probado en Qwen1.5-1.8B-Chat). El objetivo de entrenamiento combina la pérdida de lenguaje estándar con un regularizador de equidad:
$L_{total} = L_{LM} + \lambda \cdot L_{equidad}$
Donde $L_{equidad}$ penaliza la divergencia KL entre las distribuciones de salida condicionadas por género. Un estudio de ablación comparó cuatro variantes: Basal, Solo Alineación de Datos, Solo Pérdida KL y FCFT Completo.

3. Resultados Clave

3.1 Detección de Sesgo: Inestabilidad sobre Dirección

En los cuatro modelos, el estudio encontró ningún sesgo direccional estadísticamente significativo (todos los valores Wilcoxon $p > 0.28$ ). Sin embargo, todos los modelos exhibieron una pronunciada inestabilidad contrafactual:

DeepSeek V4 Flash: Menor inestabilidad (Media $|\Delta| = 0.082$ ), con un 86% de los escenarios mostrando recomendaciones idénticas.
Qwen 3.6 Plus y Claude Sonnet 4.6: Mayor inestabilidad (Media $|\Delta| = 0.266$ y $0.214$ respectivamente), con un 74% de los escenarios mostrando sesgo.
Distribución: La distribución de $|\Delta|$ tiene cola pesada. Aunque la desviación mediana para algunos modelos era cero, una minoría de casos produjo desviaciones extremas, lo que indica que los errores son esporádicos e impredecibles en lugar de uniformes.

3.2 Cumplimiento Legal

DeepSeek logró el mayor cumplimiento legal basal (78%).
Claude y Gemini mostraron desviaciones negativas sistemáticas respecto a la fórmula estatutaria incluso en escenarios de género neutro, resultando en un cumplimiento basal muy bajo (2% y 6%, respectivamente).
Hallazgo: La alta fluidez y la redacción profesional (como se observa en los resultados de Claude) no se correlacionan con la precisión legal.

3.3 Efectividad de la Remediación

Desempeño de CSC: La aplicación de CSC mejoró drásticamente el cumplimiento legal:
- Qwen: +60 puntos porcentuales (34% $\to$ 94%).
- Claude: +72 puntos porcentuales (2% $\to$ 74%).
- DeepSeek: +14 puntos porcentuales (78% $\to$ 92%).
- El método eliminó con éxito el sesgo en los escenarios activados ( $\Delta \to 0$ ).
Ablación de FCFT: El ajuste fino diagnóstico reveló que la falta de conocimiento de la fórmula, y no un sesgo de género codificado, es el principal motor del sesgo.
- Variante B (Solo Alineación de Datos): Logró una precisión legal del 97.29% y el $|\Delta|$ más bajo (0.0213), demostando que suministrar las etiquetas estatutarias resuelve la mayoría de los problemas.
- Variante D (FCFT Completo): Redujo aún más la divergencia KL (0.0010) pero con un ligero costo en la precisión en comparación con la Variante B, lo que sugiere que el regularizador de equidad actúa como una restricción de suavizado.

4. Significación y Reivindicaciones

El artículo reclama tres contribuciones primarias:

Primera Auditoría Contrafactual a Gran Escala: Proporciona la primera auditoría sistemática de los LLM jurídicos en un entorno de derecho civil determinado por fórmulas, caracterizando la inestabilidad contrafactual como la forma dominante de sesgo, distinta de la discriminación direccional.
Pipeline de Remediación: Valida la CSC como una red de seguridad de bajo costo y alto impacto para las APIs de código cerrado y la FCFT como una herramienta de diagnóstico para modelos de código abierto.
Perspectiva Arquitectónica: Los resultados argumentan a favor de desacoplar el cálculo legal de la generación de lenguaje. Dado que la verdad de referencia es una función determinista, confiar el cálculo numérico a modelos generativos introduce una varianza innecesaria. Los autores proponen una arquitectura neuro-simbólica donde los módulos simbólicos gestionan la ejecución de la fórmula, y los LLM gestionan el contexto y la explicación.

Los autores enfatizan que esta forma de sesgo (inconsistencia) es invisible para las auditorías agregadas a nivel de grupo y no puede corregirse mediante ajustes escalares, lo que requiere pruebas contrafactuales a nivel individual. Concluyen que, para tareas legales determinadas por fórmulas, los estándares regulatorios deberían exigir auditorías de equidad contrafactual y la integración de módulos de ejecución de fórmulas para garantizar la justicia procesal.