Persuadability and LLMs as Legal Decision Tools

A continuación se presenta un resumen técnico detallado del artículo "Persuasibilidad y los LLM como Herramientas de Decisión Legal" de Oisin Suttle y David Lillis.

1. Planteamiento del Problema

El artículo aborda el desafío crítico de desplegar Modelos de Lenguaje Grandes (LLM) como tomadores de decisiones legales o asistentes. Un requisito fundamental de la toma de decisiones judiciales y administrativas es la persuasibilidad: la capacidad de interactuar con los argumentos de las partes contendientes y verse influenciada por ellos. Sin embargo, existe una tensión:

• Demasiado rígido: Un tomador de decisiones que no puede ser persuadido no considera nueva evidencia o argumentos (violando el principio audi alteram partem).
• Demasiado flexible: Un tomador de decisiones que es indebidamente persuadible puede basar sus decisiones en la habilidad retórica de un abogado en lugar de los méritos legales del caso.

Los autores investigan si los LLM de vanguardia pueden navegar esta tensión. Específicamente, preguntan: ¿En qué medida los LLM se ven influenciados por la "calidad" (o identidad) del abogado que genera el argumento, en lugar de los méritos objetivos del caso legal?

2. Metodología

Los autores diseñaron un marco experimental trilateral que involucra tres roles: Abogados (generando argumentos), un Juez (decidiendo el caso) y Escenarios (preguntas legales difíciles).

A. Escenarios (Las preguntas "duras")

• Fuente: 15 escenarios extraídos de decisiones de tribunales de apelación divididas (Tribunal de Apelación de EE. UU., Tribunal de Apelación de Inglaterra y Gales, Corte Suprema de Irlanda).
• Racional: Las decisiones divididas (opiniones disidentes) indican "preguntas" legales difíciles donde no existe una única verdad fundamental, haciendo que la decisión dependa del juicio y la persuasión.
• Estructura: Cada escenario incluye hechos y la pregunta legal central.

B. Los modelos "Abogado" (Generación de argumentos)

Se utilizaron cuatro LLM distintos para generar argumentos para los bandos opuestos:

1. OpenAI gpt-4o
2. Google gemini-3-pro-preview (presupuesto de pensamiento de 4k)
3. OpenAI gpt-5.1 (bajo esfuerzo de razonamiento)
4. Anthropic Claude Sonnet 4.5 (presupuesto de pensamiento de 8k)

Estrategias de Prompting:
Para distinguir entre el contenido legal sustantivo y la forma retórica, se solicitó a los abogados que generaran argumentos de dos maneras:

1. Solo Hechos: Se proporcionaron únicamente los hechos del caso y la pregunta legal (obligando al modelo a generar argumentos novedosos).
2. Hechos + Argumentos Originales: Se proporcionaron los hechos más un resumen de los argumentos reales presentados en el caso histórico (proporcionando "pistas" sobre los mejores puntos legales).

C. Los modelos "Juez" (Toma de decisiones)

• Alcance: Se probaron 20 modelos de Juez diferentes (mezcla de pesos cerrados y abiertos, tamaños variables y arquitecturas de razonamiento).
• Tarea: Dado un escenario y dos argumentos en competencia (uno de cada lado, generados por diferentes modelos de Abogado), el Juez debe decidir el caso tal como lo haría un tribunal en esa jurisdicción.
• Volumen: Cada Juez fue probado 1.200 veces (600 con argumentos originales, 600 sin ellos), totalizando 24.000 ensayos.

D. Métricas de Persuasibilidad

Los autores definieron la persuasibilidad basándose en la identidad del Abogado actuando como proxy de la calidad del argumento.

• Línea Base: Si un Juez no es persuadible, cualquier Abogado debería ganar el 50% de las veces (asignación aleatoria).
• Persuasibilidad Pareada ($p_2$): Mide la desviación de la línea base del 50% cuando compiten dos Abogados específicos.
  $$p_2 = \frac{|m_1 - m_2|}{2n}$$
  (Donde $m$ es el número de victorias para cada abogado y $n$ es el número de ensayos).
• Persuasibilidad de Población ($p_{pop}$): La medida agregada de cuánto favorece un Juez a modelos de Abogado específicos a través de todos los emparejamientos.

3. Contribuciones Clave

1. Marco Conceptual: Identificó la tensión específica entre la persuasibilidad necesaria y la susceptibilidad indebida en el contexto de la toma de decisiones legales con IA.
2. Metodología Novel: Propuso un diseño trilateral "Abogado vs. Abogado vs. Juez" para medir la persuasibilidad, diferenciándose de estudios bilaterales anteriores (persuasor vs. persuadido).
3. Primera Exploración Legal Sistemática: Proporcionó el primer estudio empírico a gran escala sobre la persuasibilidad de los LLM específicamente dentro de contextos complejos de razonamiento legal.
4. Datos Abiertos: Liberó todo el código, prompts y datos (15 escenarios, 1.200 argumentos por lado, 24.000 respuestas de jueces) para la reproducibilidad.

4. Resultados Clave

A. Persuasibilidad Universal

• Todos los modelos son persuadibles: Cada modelo de Juez mostró una persuasibilidad estadísticamente significativa ($p < 0.05$).
• Magnitud: La persuasibilidad de población ($p_{pop}$) osciló entre 0.08 y 0.20. Esto implica que la identidad del Abogado (y por tanto la calidad del argumento) desplaza las tasas de victoria entre un 8% y un 21% por encima de la línea base aleatoria.
• Casos Extremos: En comparaciones pareadas específicas (por ejemplo, el Abogado más fuerte vs. el más débil), las tasas de victoria oscilaron entre 63% y más del 90%, lo que indica que algunos modelos se ven fuertemente influenciados por la identidad del abogado.

B. Arquitectura y Tamaño del Modelo

• Tamaño: La evidencia es mixta. Generalmente, los modelos más grandes fueron menos persuadibles que las versiones "lite" más pequeñas dentro de la misma familia (por ejemplo, claude-sonnet vs. claude-haiku). Sin embargo, hubo excepciones (por ejemplo, gpt-5-nano fue el modelo menos persuadible en general).
• Arquitectura de Razonamiento: Los modelos más grandes con presupuestos de "pensamiento" fueron generalmente menos persuadibles, lo que sugiere que evalúan los argumentos de manera más crítica. Sin embargo, esta tendencia se invirtió en algunos modelos abiertos más pequeños, donde las variantes de "razonamiento" fueron más persuadibles.

C. Sustancia vs. Forma

• El Contenido Importa: Cuando a los Abogados se les proporcionaron los "Argumentos Originales" (pistas), la persuasibilidad generalmente disminuyó ligeramente (sugiriendo que el contenido se estandarizó).
• Significancia Estadística: Aunque el efecto de proporcionar argumentos originales fue pequeño, los ensayos cara a cara mostraron que un Abogado al que se le solicitó con argumentos originales ganó significativamente más a menudo que uno sin ellos ($p=0.0039$). Esto confirma que el contenido legal sustantivo juega un papel en la persuasión, no solo la fluidez retórica.
• Conocimiento Jurisdiccional: La persuasibilidad fue menor en jurisdicciones donde es probable que el modelo tuviera más datos de entrenamiento (EE. UU. > Reino Unido > Irlanda). Esto sugiere que cuando los modelos comprenden mejor la sustancia legal, son menos fácilmente influenciados por la forma sola.

5. Significado e Implicaciones

• Viabilidad de Jueces de IA: Los resultados sugieren que los LLM más pequeños pueden ser inapropiados para roles judiciales porque su alta persuasibilidad probablemente se deriva de una incapacidad para evaluar críticamente los argumentos en competencia (son fácilmente influenciados por la forma).
• Modelos Grandes: Aunque los modelos grandes son menos persuadibles (probablemente debido a una mejor evaluación sustantiva), aún exhiben una susceptibilidad significativa (hasta un 40% de desviación en escenarios pareados).
• Dimensión Política/Ética: El artículo concluye que determinar si el nivel de persuasibilidad de un modelo es "aceptable" es una pregunta política. Depende de las expectativas sociales del sistema de justicia y de cómo trata a las partes con habilidades de abogacía variables.
• Trabajo Futuro: Los autores solicitan más investigación sobre:
  • ¿Qué características específicas impulsan la persuasión?
  • Si la exposición a los argumentos mejora realmente la calidad de la decisión.
  • La comparación de la persuasibilidad de los LLM con expertos legales humanos.

Conclusión: Los LLM son inherentemente persuadibles. Aunque los modelos más grandes muestran mayor resistencia a influencias indebidas, ninguno es inmune. Su despliegue como tomadores de decisiones requiere una selección cuidadosa de modelos basada en sus perfiles específicos de persuasibilidad para garantizar que las decisiones se basen en el mérito legal y no en el dominio retórico.