Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects

Este estudio evalúa si cinco modelos de lenguaje grandes (LLMs) exhiben sesgos cognitivos humanos, como el efecto de víctima virtuosa y el efecto halo, al asistir en sentencias judiciales, encontrando que aunque muestran variaciones y limitaciones para su uso inmediato, presentan mejoras modestas respecto a los benchmarks humanos en la reducción de ciertos prejuicios.

Lo esencial

Imagina que el sistema judicial es como un gran partido de fútbol donde el árbitro (el juez) tiene que decidir quién gana y quién pierde, o en este caso, quién es culpable y cuánto tiempo debe pasar en la "silla de castigo". El problema es que, aunque los árbitros humanos intentan ser justos, a veces se dejan llevar por cosas que no deberían importar: si tienen hambre, si les cae bien el jugador por su uniforme, o si el jugador parece muy "bonito".

Este estudio es como una prueba de estrés para unos nuevos árbitros robots (Inteligencias Artificiales o LLMs) para ver si son más justos que los humanos o si copian sus mismos errores.

Aquí te explico qué hicieron y qué descubrieron, usando analogías sencillas:

1. ¿Qué estaban buscando? (Los "Vicios" de la mente)

Los investigadores querían ver si los robots cometían dos tipos de errores muy comunes en los humanos:

• El Efecto "Víctima Virtuosa" (VVE): Es como cuando ves a alguien llorando en la calle y piensas automáticamente: "¡Oh, debe ser un ángel! Es totalmente inocente y el otro es un monstruo". Los humanos tienden a ver a las víctimas como personas perfectas. Pero hay un truco: si la víctima tuvo una relación previa con el agresor (consentimiento previo), los humanos a veces piensan: "Bueno, si ya se conocían, quizás no fue tan malo". Esto es injusto.
• El Efecto "Halo" (La aureola): Imagina que tienes dos personas: una es un médico famoso y la otra es un conserje. Si ambos cometen el mismo error, los humanos suelen pensar que el médico es más inteligente, más honesto y merece menos castigo solo por su "aureola" de prestigio.

2. ¿Cómo hicieron la prueba? (El laboratorio de ficción)

En lugar de usar casos reales (para que los robots no "recitaran" respuestas de internet), los investigadores crearon historias inventadas (como guiones de teatro) y se las dieron a 5 robots diferentes (ChatGPT, Claude, Gemini, etc.).

Les dijeron: "Aquí hay un caso. Cambia solo un detalle (por ejemplo, si el acusado es un médico o un conserje) y dime qué castigo le darías". Luego, compararon las respuestas de los robots con las de un grupo de jueces humanos reales.

3. ¿Qué descubrieron? (Los resultados)

A. Sobre las Víctimas (El Efecto "Víctima Virtuosa")

• Los Humanos: A veces castigan menos a la víctima si tuvieron una relación previa con el agresor.
• Los Robots: ¡Aquí hay una sorpresa! Los robots no castigan a la víctima por tener una relación previa. Son más "ciegos" a ese prejuicio que los humanos.
• Pero... Los robots son demasiado protectores. Tienden a ver a las víctimas como "ángeles perfectos" incluso más que los humanos. Es como si un robot dijera: "¡Esta víctima es 100% santa!" mientras que un humano diría: "Es una víctima, pero es una persona con defectos".

B. Sobre el Prestigio (El Efecto "Halo")

• Dinero y Empresas: Cuando una empresa famosa (como un banco de lujo) comete un delito, los humanos le piden pagar mucho más que a una empresa pequeña. Los robots también lo hacen, pero menos. Sin embargo, los robots son muy volátiles: a veces piden $20 millones y otras veces $300 millones por el mismo caso. Es como si un robot de apuestas decidiera el castigo: ¡no hay consistencia!
• Trabajos (Médico vs. Conserje): Los humanos castigan más al conserje que al médico por el mismo robo. Los robots, en general, son un poco más justos aquí, pero algunos siguen cometiendo el error.
• Títulos Universitarios: Si un testigo viene de una universidad famosa (Ivy League), los humanos le creen más. Los robots casi no se dejan engañar por esto. Son mucho mejores que los humanos en ignorar el nombre de la universidad y juzgar solo el contenido.

4. El Veredicto Final (¿Podemos confiar en ellos?)

Imagina que quieres usar a estos robots para ayudar a los jueces a ser más justos.

• Lo bueno: Los robots son mejores que los humanos para ignorar los títulos universitarios y no culpar a las víctimas por su pasado. Son como un "filtro de limpieza" que elimina algunos prejuicios humanos.
• Lo malo:
  1. Son inconsistentes: Un mismo robot puede dar un castigo de 1 año hoy y de 10 años mañana para el mismo caso. En un tribunal, la consistencia es vital.
  2. Son demasiado "bonachones": A veces ven a las víctimas como perfectas, lo cual puede ser tan injusto como verlas como culpables.
  3. Se niegan a trabajar: A veces, los robots se asustan con temas delicados (como violación) y se niegan a dar una respuesta, lo que deja al juez sin ayuda.

Conclusión en una frase

Estos robots son como novatos muy inteligentes pero inestables: tienen el potencial de ser más justos que los humanos al ignorar ciertos prejuicios (como el prestigio), pero todavía necesitan mucha más práctica y supervisión antes de que podamos confiarles la decisión de la libertad de una persona. Por ahora, son un buen "segundo opinión", pero no deberían ser los árbitros principales.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Evaluación de Sesgos Cognitivos en Modelos de Lenguaje Grande (LLM) para el Apoyo a Decisiones Judiciales: Efecto de la Víctima Virtuosa y Efecto Halo

1. Planteamiento del Problema

La toma de decisiones judiciales es inherentemente vulnerable a sesgos cognitivos humanos que comprometen la imparcialidad y la equidad. Estudios previos han demostrado que factores extrínsecos, como el estado de ánimo del juez (efecto "juez hambriento"), la atracción física, la fatiga o el prestigio socioeconómico, influyen significativamente en las sentencias y veredictos.
El problema central abordado en este trabajo es determinar si los Modelos de Lenguaje Grande (LLM), propuestos como herramientas de apoyo para reducir estos sesgos, replican, amplifican o mitigan dichos prejuicios humanos. Específicamente, el estudio se centra en dos sesgos críticos:

• Efecto de la Víctima Virtuosa (VVE): La tendencia a percibir a las víctimas como más morales que a los no víctimas. Este efecto se atenúa en humanos cuando existe "consentimiento adyacente" (interacciones previas consensuadas), lo que lleva a culpar más a la víctima en casos de agresión sexual.
• Efecto Halo basado en Prestigio: La influencia de características positivas irrelevantes (como la empresa, la ocupación o las credenciales académicas) en la evaluación de la culpabilidad o la severidad del castigo.

2. Metodología

El estudio empleó un diseño experimental riguroso para aislar variables y evitar que los modelos simplemente recordaran datos de su entrenamiento:

• Modelos Evaluados: Se seleccionaron cinco LLMs representativos de la tecnología actual: ChatGPT 5 Instant, ChatGPT 5 Thinking, DeepSeek V3.1, Claude Sonnet 4 y Gemini 2.5 Flash.
• Diseño de Escenarios (Vignettes): Se adaptaron escenarios de la literatura psicológica y legal existente, alterando nombres, contextos y valores numéricos para garantizar la validez constructiva y evitar la recuperación de datos memorizados.
• Condiciones de Prueba:
  • VVE (Daño Menor): Comparación de la percepción de moralidad entre una víctima y un no-víctima en un incidente menor.
  • VVE (Daño Mayor con Consentimiento Adyacente): Tres condiciones: no víctima, víctima sin consentimiento y víctima con consentimiento adyacente (donde hubo contacto previo consensuado antes de la agresión).
  • Efecto Halo (Prestigio):
    • Corporativo: Discriminación laboral en empresas ordinarias vs. prestigiosas (inspirado en casos reales como Goldman Sachs).
    • Ocupacional: Sentencias por malversación para un médico (alto prestigio) vs. recepcionista (bajo prestigio).
    • Credenciales: Evaluación de la probabilidad de pena de muerte basada en la afiliación de un testigo experto (Universidad Estatal vs. Ivy League).
• Protocolo de Ejecución: Cada prompt se ejecutó 10 veces por modelo en hilos de chat separados para minimizar la contaminación cruzada. Se calcularon las medias de las respuestas válidas, descartando rechazos o bloqueos de políticas.
• Comparativa: Los resultados de los LLMs se compararon con benchmarks humanos establecidos en la literatura psicológica y legal.

3. Contribuciones Clave

• Primera Evaluación Sistemática: Este es el primer trabajo que evalúa explícitamente los LLMs en el contexto de decisiones judiciales para los sesgos VVE y Halo de prestigio.
• Metodología de Aislamiento: Desarrollo de un conjunto de datos específico y adaptado para medir la magnitud de los sesgos en LLMs, controlando rigurosamente las variables para evitar el "ruido" de datos de entrenamiento.
• Análisis Comparativo Multi-Modelo: Proporciona una visión matizada de cómo diferentes arquitecturas y enfoques de seguridad (como el enfoque "Constitutional AI" de Claude) afectan la consistencia y el sesgo.

4. Resultados Principales

Los hallazgos revelan una mezcla de mejoras sobre los humanos y nuevas preocupaciones:

• Efecto de la Víctima Virtuosa (VVE):
  • Los modelos mostraron un VVE elevado en comparación con los humanos (puntuaciones morales más altas para las víctimas).
  • Hallazgo Crítico: Ningún modelo penalizó a las víctimas por el "consentimiento adyacente". A diferencia de los humanos, que reducen la percepción de moralidad de la víctima en estos casos, los LLMs mantuvieron una evaluación consistente. Sin embargo, esto no se tradujo en una justicia perfecta, sino en una sobre-protección generalizada.
• Efecto Halo Corporativo:
  • Los modelos mostraron un efecto halo, pero más débil que en los humanos. Mientras que los humanos exigen compensaciones ~3 veces mayores para empresas prestigiosas, la mayoría de los LLMs mostraron disparidades menores (reducción de sesgo promedio del ~25%).
  • Alta Variabilidad: Hubo una inconsistencia significativa entre ejecuciones (ej. Gemini 2.5 Flash varió entre $20M y $325M), lo que plantea riesgos de fiabilidad.
• Efecto Halo Ocupacional:
  • Resultados mixtos. DeepSeek V3.1 replicó el sesgo humano (sentencias ~12 meses más largas para el médico), pero otros modelos mostraron diferencias insignificantes o inconsistentes. En promedio, el sesgo fue menor que el de los humanos.
• Efecto Halo de Credenciales:
  • Se observó una reducción sustancial del sesgo en comparación con los humanos. La diferencia en la probabilidad de pena de muerte basada en la universidad del testigo fue mínima en los LLMs (ej. 0.1 a 0.6 puntos) frente a los 1.5 puntos en humanos.
• Consistencia del Modelo:
  • ChatGPT 5 Instant fue el más consistente y justo.
  • Gemini 2.5 Flash mostró la mayor variabilidad y peor rendimiento.
  • Claude Sonnet 4 presentó una alta tasa de rechazos (refusals), limitando su utilidad práctica en este contexto.

5. Significado e Implicaciones

• Potencial de Mitigación: Los LLMs tienen el potencial de reducir ciertos sesgos humanos, especialmente aquellos relacionados con el prestigio de credenciales y corporativo, ofreciendo una base más objetiva para la toma de decisiones.
• Riesgos de Implementación:
  • Variabilidad: La inconsistencia en las salidas (especialmente en daños civiles y sentencias) es un obstáculo mayor para su uso judicial directo.
  • Sesgo "Pro-Víctima": El VVE elevado y la falta de penalización por consentimiento adyacente podrían llevar a injusticias si se interpreta como una "justicia ciega" que ignora matices legales complejos.
  • Falta de Estándares: La gran disparidad entre modelos sugiere que no se puede tratar a los LLMs como un bloque monolítico; cada modelo requiere una evaluación individual antes de su despliegue.
• Conclusión Final: Aunque los LLMs muestran mejoras modestas en la reducción de ciertos sesgos cognitivos humanos, su variabilidad actual y la naturaleza de sus nuevos sesgos (como el VVE exacerbado) impiden su uso inmediato como herramientas de apoyo judicial autónomas. Se requiere más investigación para desarrollar estrategias de mitigación y datasets más robustos.