Resumen Técnico: Prompting desde el banco: El preentrenamiento a gran escala no es suficiente para preparar a los LLM para el análisis del significado ordinario

Declaración del Problema

El artículo aborda la tendencia creciente en la práctica judicial de EE. UU. donde jueces y eruditos legales utilizan Modelos de Lenguaje Grandes (LLM) para determinar el "significado ordinario" de textos legales, una metodología interpretativa estándar que pregunta cómo entendería un hablante ordinario de inglés un término. Los defensores, incluido el Juez Federal Kevin Newsom, argumentan que la escala masiva de los datos de preentrenamiento permite a los LLM sintetizar patrones estadísticos del uso del lenguaje ordinario de manera más efectiva que las herramientas tradicionales como diccionarios o encuestas a pequeña escala.

Los autores desafían la suposición de que el preentrenamiento a gran escala y el ajuste de instrucciones son suficientes para producir modelos capaces de un análisis fiable del significado ordinario. Plantean que, sin una evaluación rigurosa, confiar en los LLM para la interpretación legal de alto riesgo es prematuro. El problema central es doble:

1. Robustez: Si los juicios de los LLM son estables ante variaciones menores en la redacción del prompt (una vulnerabilidad conocida en el PLN).
2. Correlación: Si los juicios de los LLM realmente aproximan el consenso interpretativo de lectores humanos legos, que es el objetivo de las investigaciones sobre el "significado ordinario".

Metodología

Los autores realizaron una evaluación empírica a gran escala que involucró a 15 LLM (incluyendo variantes base y ajustadas con instrucciones de Llama-3, OLMo-2, Mistral, Gemma y GPT-2, junto con el GPT-4 de código cerrado) en 138 escenarios de interpretación legal.

Datos y Formulación de la Tarea:

• Escenarios: El estudio utilizó 138 elementos derivados de disputas reales de contratos de seguros (originalmente de Waldon et al., 2023). Cada elemento presenta un escenario hipotético y un término específico de seguro (por ejemplo, "jardinería", "fuente interna") que requiere un juicio binario: ¿está la pérdida cubierta ("Sí") o no ("No")?
• Línea Base Humana: El estudio comparó las salidas del modelo con los juicios humanos de 1.338 hablantes nativos de inglés que evaluaron los mismos 138 escenarios.
• Variantes del Prompt: Para probar la robustez, los autores aplicaron 9 variantes sistemáticas de preguntas a cada elemento. Estas incluyeron:
  • Orden estándar Sí/No y No/Sí.
  • Negación (por ejemplo, "¿no está John cubierto?").
  • Encuadre de Acuerdo/Desacuerdo (por ejemplo, "¿Está de acuerdo en que...").
  • Opciones de opción múltiple (A/B) con órdenes invertidos.
• Medición:
  • Robustez: Medida por la consistencia de los juicios categóricos (Cubierto vs. NoCubierto) a través de las 9 variantes del prompt para cada par modelo-elemento.
  • Correlación Humana: Medida utilizando el coeficiente de determinación ($R^2$) entre la diferencia de probabilidad del modelo ($\Delta = p(\text{Cubierto}) - p(\text{NoCubierto})$) y la proporción de juicios humanos de "Cubierto". Los autores trataron la probabilidad del token del modelo como un proxy del consenso de la población.

Contribuciones Clave

1. Evaluación Sistemática de la Interpretación Legal: Este trabajo proporciona la evaluación experimental más extensa de LLM para la interpretación legal hasta la fecha, avanzando más allá de estudios de caso cualitativos o pruebas de parafraseo a pequeña escala (por ejemplo, Choi, 2025; Waldon et al., 2025) hacia un conjunto de datos controlado y a gran escala.
2. Cuantificación de la Sensibilidad al Prompt: Los autores demuestran que los LLM exhiben una "falta de consistencia ubicua" a través de las variantes de preguntas. Muestran que cambios triviales, como la negación o el orden de las opciones, pueden causar cambios drásticos en los juicios del modelo, permitiendo efectivamente la "compra de prompts" para obtener resultados deseados.
3. Análisis de la Correlación Humana: El estudio prueba rigurosamente la hipótesis de la "omnisciencia" (que la escala de los datos de entrenamiento equivale a una intuición similar a la humana). Encuentra que incluso los modelos de mejor rendimiento muestran solo una correlación moderada con el consenso humano, y esta correlación depende altamente de tamaños de modelo específicos y formulaciones de prompts.
4. Crítica a la Práctica Judicial Actual: El artículo ofrece un contraargumento empírico a opiniones judiciales recientes que se basan en consultas directas a LLM para el significado ordinario, sugiriendo que los modelos actuales no cumplen con las condiciones necesarias de robustez y alineación humana para dicho uso.

Resultados Clave

• Inestabilidad y Sesgo:
  • Relojes Detenidos: Varios modelos (6 de 15) proporcionaron el mismo juicio categórico para más del 92% de los escenarios, independientemente del contenido, comportándose como "relojes detenidos".
  • Sensibilidad al Prompt: En 2.061 de las 2.070 combinaciones modelo-elemento, el modelo produjo juicios conflictivos a través de las 9 variantes del prompt. Solo 9 combinaciones mostraron unanimidad total.
  • Negación y Complejidad: Las variantes que involucraban negación (por ejemplo, "Desacuerdo con Negación") indujeron frecuentemente juicios minoritarios y causaron los mayores desplazamientos distribucionales (medidos por la distancia Jensen-Shannon).
• Correlación con el Juicio Humano:
  • Correlación Moderada: Solo los modelos más grandes y ajustados con instrucciones (específicamente 70B+ parámetros) mostraron alguna correlación significativa con los juicios humanos, y aun así, solo para variantes de prompts específicas.
  • Mejor Escenario: GPT-4 logró la correlación más alta ($R^2 = 0.60$) con los juicios humanos en la variante estándar Sí/No. Sin embargo, esto se tradujo en una precisión de clasificador oráculo de solo el 83% (1 error en 6), lo que los autores argumentan es insuficiente para la interpretación legal donde los riesgos son altos.
  • Inconsistencia: Para muchos modelos, la correlación fue negativa o cercana a cero. Algunos modelos mostraron una fuerte correlación en las distribuciones de probabilidad pero produjeron salidas categóricas abrumadoramente sesgadas (por ejemplo, siempre prediciendo "NoCubierto" a pesar de que los gradientes de probabilidad sugerían lo contrario).
• Tamaño del Modelo y Ajuste: Aunque los modelos más grandes generalmente funcionaron mejor, el ajuste de instrucciones introdujo sesgos impredecibles, a veces desplazando los juicios por completo (por ejemplo, los modelos ajustados de Llama-8B predijeron predominantemente "NoCubierto", mientras que los modelos ajustados de Llama-70B predijeron "Cubierto").

Significado y Afirmaciones

El artículo concluye que el preentrenamiento a gran escala no es suficiente para preparar a los LLM para el análisis del significado ordinario. Los autores argumentan que la suposición de que los LLM pueden iluminar de manera fiable cómo las personas ordinarias usan las palabras no está respaldada por evidencia empírica.

• Brecha de Fiabilidad: Los hallazgos destacan una "brecha de fiabilidad" donde los modelos no son consistentes ni reproducibles, y una "brecha epistémica" donde las salidas del modelo no miden con precisión el significado humano ordinario.
• Precaución Judicial: Los autores advierten explícitamente contra el enfoque adoptado por el Juez Newsom y otros que consultan directamente a los LLM para resolver cuestiones de significado ordinario. Afirman que la fragilidad observada (sensibilidad a la redacción del prompt) y la débil correlación con el consenso humano hacen que los LLM actuales no sean adecuados como herramientas autorizadas para esta tarea legal específica.
• Trabajo Futuro: El artículo no afirma que los LLM nunca puedan usarse para la interpretación legal, sino que sugiere que, si se van a utilizar, requieren una validación rigurosa más allá de las capacidades actuales. Señalan que los nuevos modelos de "razonamiento" o sistemas con mecanismos de recuperación no fueron probados y podrían mitigar algunas limitaciones, pero tales afirmaciones requieren una demostración empírica adicional. La evidencia actual, afirman, "falla espectacularmente en cumplir con la carga de la prueba" para usar LLM como intérpretes autorizados del significado ordinario.