💬 NLP

Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

Este artículo propone un marco de evaluación conjunta para evaluaciones de referencia legales que evalúa simultáneamente la corrección de la respuesta y el fundamento en la autoridad estatutaria, revelando que los modelos frecuentemente desacoplan estas dimensiones y que confiar únicamente en la exactitud de la respuesta conduce a métricas de rendimiento engañosas.

Autores originales: Hsien-Jyh Liao

Publicado 2026-08-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hsien-Jyh Liao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que te encuentras en una biblioteca gigante y de alta tecnología donde los robots están aprendiendo a ser abogados. En este mundo, existe un juego especial llamado "benchmark" (punto de referencia). Es como un examen final donde un robot lee una pregunta legal complicada y elige la respuesta correcta. Durante mucho tiempo, a los maestros (los científicos) solo les importaba si el robot acertaba la respuesta final. Si el robot decía "La opción correcta es la B", recibía una estrella dorada. Pero aquí está el truco: a veces, el robot podría decir "B", pero dar una razón completamente inventada o errónea de por qué es la B, como citar una ley que no existe o señalar el libro de reglas equivocado.

Este artículo se sumerge en un rincón específico de esa biblioteca: el mundo de los Legal Benchmarks (puntos de referencia legales). Piensa en estos benchmarks como los exámenes estandarizados para los abogados de IA. La idea clave que explora el artículo es la Autoridad de Fundamentación (Authority Grounding). En lenguaje sencillo, esto significa verificar si la respuesta del robot está realmente respaldada por las leyes reales y oficiales que afirma estar utilizando. Es la diferencia entre un estudiante que adivina la respuesta correcta en un examen de matemáticas frente a uno que realmente muestra la fórmula correcta. Al autor le importa esto porque, si solo calificamos la respuesta final, podríamos pensar que un robot es un abogado brillante cuando en realidad es solo un adivinador con suerte que resulta sonar seguro de sí mismo.

Los investigadores decidieron jugar un juego con cuatro modelos de IA (piensa en ellos como cuatro estudiantes robot) utilizando preguntas reales del Examen de Abogacía de Taiwán. Les pidieron a los robots que resolvieran acertijos legales y explicaran su razonamiento, pero no les dijeron explícitamente: "Oye, debes citar el artículo de la ley específica". Sorprendentemente, los robots empezaron a citar leyes por su cuenta, tal como lo haría un abogado real.

Aquí está la gran sorpresa que encontró el artículo: los robots a menudo acertaban la respuesta pero fallaban en la ley, y a veces fallaban la respuesta pero acertaban la ley. Es como un estudiante que obtiene la respuesta correcta en un examen de historia pero cita el siglo equivocado como su fuente. El artículo llama a esto una "doble disociación", que es una forma elegante de decir que las dos habilidades —acertar la respuesta y encontrar la ley correcta— pueden separarse por completo.

En la sección de derecho penal del examen, el artículo midió exactamente qué tan seguido sucedía esto. Encontraron que, entre el 24.0% y el 42.4% de las veces, un robot daba una respuesta correcta pero fallaba la ley correspondiente por completo. Más extraño aún, entre el 15.2% y el 21.7% de las veces, un robot daba la respuesta incorrecta pero citaba correctamente la ley adecuada. Esto demuestra que el hecho de que un robot acierte la respuesta final no significa que realmente comprenda las reglas legales que hay detrás.

El autor también realizó un pequeño experimento. Les dijo a los robots: "Si no estás seguro del número exacto de la ley, no tienes que decirlo". Cuando hicieron esto, los robots dejaron de citar leyes con tanta frecuencia, pero su capacidad para acertar la respuesta final apenas cambió. Esto sugiere que los robots no estaban usando las leyes para deducir la respuesta; simplemente estaban añadiendo las leyes como decoración después de haber adivinado la respuesta.

Entonces, ¿cuál es la conclusión? El artículo argumenta que necesitamos cambiar la forma en que calificamos a estos abogados de IA. Ya no podemos limitarnos a mirar la respuesta final. Tenemos que revisar los "recibos": las leyes específicas que citan. Si no lo hacemos, podríamos estar celebrando a un robot que en realidad solo está alucinando hechos legales mientras tiene la suerte de obtener la respuesta correcta. El autor sugiere que las pruebas futuras deberían calificar tanto la respuesta como la cita de la ley en conjunto, porque en este momento, el sistema actual está perdiendo una gran parte de la verdad.

Resumen Técnico: Conocer la Forma, No la Función

Planteamiento del Problema
Los marcos de referencia legales actuales para los Modelos de Lenguaje de Gran Escala (LLM) evalúan típicamente el rendimiento basándose únicamente en la corrección de la respuesta final, incluso cuando el razonamiento del modelo incluye citas de autoridades legales. Esta puntuación basada "solo en la respuesta" asume implícitamente que una respuesta final correcta implica que la autoridad legal afirmada (la "autoridad de oro") también es correcta. El artículo argumenta que esta suposición es errónea: un modelo puede llegar a la conclusión correcta mediante un razonamiento válido o por eliminación, mientras cita una disposición estatutaria incorrecta o inexistente. Debido a que la autoridad estatutaria es estructuralmente extraíble y verificable externamente, el hecho de que no se fundamente una respuesta en la ley correcta constituye un problema de validez mensurable que los marcos de referencia actuales ocultan sistemáticamente.

Metodología
El autor propone un marco de evaluación conjunto que desacopla la "corrección de la respuesta" ( $A$ ) del "fundamento en la autoridad de oro" ( $G$ ).

Banco de pruebas: El estudio utiliza 238 ítems de los Exámenes de la Barra Nacional de Taiwán de 2022 y 2025 (118 de derecho civil, 120 de derecho penal). Cada ítem tiene una respuesta correcta verificada y una disposición estatutaria rectora verificada (autoridad de oro), derivada de manuales de soluciones comerciales y contrastada con la Base de Datos de Leyes y Regulaciones oficial.
Modelos: Se evaluaron cuatro LLM: Gemma-4-31B, LLaMA-3.3-70B, GPT-4o-mini y Qwen3.6 Flash.
Condiciones Experimentales:
- C1 (Línea base): Prompts de solo respuesta (no se requiere razonamiento).
- C2 (Núcleo): Prompts de razonamiento estándar donde se pide a los modelos que proporcionen un razonamiento paso a paso, pero no se les pide explícitamente que citen estatutos. Esto evalúa la marcación de autoridad "espontánea".
- C3 (Sonda de recuperación): Se pide explícitamente a los modelos que identifiquen hasta tres disposiciones rectoras para medir la capacidad de recuperación independiente de la respuesta.
- C4 (Sonda epistémica): Se pide a los modelos que reciten el contenido específico de un estatuto para probar la admisión de incertidumbre.
- C2-1 (Intervención): Un prompt permisivo que permite a los modelos razonar sin nombrar números de artículos exactos si no están seguros, para probar si el comportamiento de citación puede desacoplarse de la selección de la respuesta.
Métricas: Las respuestas se clasifican en un estado conjunto $(A, G)$ $(A, G)$ :
- $A^+G^+$ : Respuesta correcta, autoridad correcta.
- $A^+G^-$ : Respuesta correcta, autoridad incorrecta/ausente.
- $A^-G^+$ : Respuesta incorrecta, autoridad correcta.
- $A^-G^-$ : Respuesta incorrecta, autoridad incorrecta/ausente.
  La concordancia de la autoridad se basa en reglas, analizando nombres de códigos, números de artículos y sufijos de párrafos.

Hallazgos Clave
El estudio identifica una "doble disociación" sistemática y no inducida entre la corrección de la respuesta y el fundamento de la autoridad en todos los modelos probados:

Respuesta Correcta pero Autoridad Ausente ( $A^+G^-$ ): Una parte significativa de las respuestas con respuestas correctas no cita la autoridad de oro.
- En Derecho Civil, esto osciló entre el 32.7% y el 63.1%.
- En Derecho Penal, esto osciló entre el 24.0% y el 42.4%.
- Crucialmente, estos modelos a menudo citaron estatutos que no eran los de "oro", los cuales eran sintácticamente válidos pero legalmente irrelevantes para la pregunta específica.
Respuesta Incorrecta pero Autoridad Presente ( $A^-G^+$ ): Los modelos frecuentemente citaron el estatuto rector correcto incluso cuando seleccionaban la opción de respuesta errónea.
- En Derecho Penal, esto ocurrió en el 15.2% al 21.7% de las respuestas válidas.
Independencia de Comportamientos:
- Recuperación vs. Fundamentación: La recuperación estatutaria independiente (C3) varió significentemente según el modelo y el dominio (por ejemplo, Qwen mostró altas tasas de recuperación en derecho civil), pero el desajuste entre la respuesta y la autoridad siguió siendo sustancial incluso en los modelos con mejor recuperación.
- Citación vs. Respuesta: La intervención C2-1 demostró que el comportamiento de citación es separable de la selección de la respuesta. Cuando se permitió abstenerse de nombrar artículos específicos, las tasas de citación disminuyeron drásticamente para Gemma, LLaMA y GPT-4o-mini (del ~70–90% al ~5%), mientras que la tasa de Qwen cayó del 96.4% al 57.3%. En todos los casos, la precisión de la respuesta permaneció mayormente inalterada.
Forma sobre Función: Los modelos produjeron frecuentemente razonamientos legales "fluidos" con citas sintácticamente correctas que no sustentaban la conclusión. La presencia de una cita no garantiza que la autoridad sea la que rige el caso.

Significancia y Contribuciones
El artículo realiza tres contribuciones primarias:

Identificación de un Problema de Validez: Formaliza la observación de que la puntuación basada solo en la respuesta trata como éxitos completos los fallos de la autoridad de oro que ocurren de forma natural. Esto no es un fallo de prueba de estrés adversarial, sino un problema sistemático dentro de los regímenes de evaluación ordinarios.
Protocolo de Puntuación Conjunta: El autor propone una extensión mínima y de bajo costo para los marcos de referencia basados en estatutos existentes. En lugar de una única métrica de precisión, la evaluación debe reportar:
- Precisión de la respuesta.
- Autoridad Hit@k (tasa de fundamentación).
- La distribución conjunta ( $A^+G^+, A^+G^-, A^-G^+, A^-G^-$ ).
Cambio Metodológico: El estudio argumenta que la "forma legal fluida" (texto de razonamiento correcto con citas) no puede tratarse como evidencia de que la autoridad afirmada respalda la conclusión. Debido a que la autoridad estatutaria es verificable externamente, los marcos de referencia deben auditar el vínculo entre la respuesta y la ley citada, no solo la respuesta en sí misma.

Limitaciones y Alcance
El autor señala que sus afirmaciones son conductuales, no mecanísticas; el estudio mide el desajuste de la salida, no el proceso de razonamiento interno. Los hallazgos son más directamente aplicables a tareas codificadas y de citación normativa (como el Examen de la Barra de Taiwán). La magnitud del desajuste podría diferir en tareas legales de naturaleza abierta o en entornos de derecho consuetudinario (common law) donde las citas de artículos específicos son menos rígidas. Además, el estudio incluye una observación preliminar de una marcación de autoridad espontánea similar en el derecho civil de China continental, lo que motiva futuras auditorías transjurisdiccionales, aunque aún no proporciona un análisis conjunto completo para ese conjunto de datos.

Más como este