Resumen Técnico: Un Estudio de Estabilidad en Dos Fases de Jueces de Modelos de Lenguaje Grande y Examinadores del Consejo de Abogados en Ensayos de Respuesta Libre para el Examen de Abogacía Tailandés

Planteamiento del Problema

La evaluación actual de Procesamiento del Lenguaje Natural (NLP) para ensayos legales de respuesta libre se basa en dos supuestos no verificados: (1) que el acuerdo entre evaluadores entre expertos humanos acreditados define un único "techo de estabilidad" plano a través de todos los ítems, y (2) que el éxito de un juez de modelo de lenguaje grande (LLM) se mide por qué tan cerca su acuerdo con este panel humano se acerca a ese techo. Este estudio desafía estos supuestos investigando si la estabilidad de los expertos es uniforme en todos los ítems y si las poblaciones de jueces LLM reproducen el espectro completo de interpretaciones humanas legítimas o simplemente convergen en una única lectura mayoritaria. El estudio se centra en el Examen de Abogacía Tailandés, una evaluación de ensayo de respuesta libre de alto riesgo donde la calificación implica tanto la corrección determinista (coincidencia con una respuesta dorada) como la calidad interpretativa (profundidad del razonamiento), esta última de la cual a menudo carece de orientación regulatoria explícita.

Metodología

La investigación emplea un protocolo de dos fases con entradas idénticas para aislar los roles del examinado y del juez, controlando la varianza de las entradas.

Fase 1: LLMs como Examinados

• Participantes: 42 estudiantes de derecho tailandeses y 8 LLMs (incluyendo Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro, y otros).
• Tarea: Los participantes respondieron tres preguntas de ensayo sobre el Código Civil y Comercial bajo condiciones ciegas.
• Calificación: Tres examinadores capacitados por el Consejo de Abogados (A, B, C) calificaron las respuestas utilizando una rúbrica publicada de 8 niveles. Los examinadores no sabían qué participantes eran LLMs.
• Resultado: Se estableció una distribución de capacidad de referencia donde los LLMs se situaron dentro de la distribución de estudiantes humanos, asegurando que la tarea de calificación no fuera trivial.

Fase 2: LLMs como Jueces

• Corpus: Se seleccionó un subconjunto de 15 celdas de calificación cruzada (5 respuestas $\times$ 3 examinadores) para un análisis profundo.
• Entradas: Todos los evaluadores (3 humanos y 26 LLMs) recibieron exactamente las mismas entradas de cuatro elementos: la pregunta, la regulación oficial de calificación, la respuesta dorada y el ensayo del candidato.
• Panel de LLM:
  • Sub-panel de Anclaje: Tres modelos de frontera cerrada (Claude 4.6 Opus, Gemini 3.1 Pro, GPT-5.4 Pro) sometidos a instrumentación rigurosa, incluidas pruebas de determinismo (3 semillas en $T=0$), ablaciones de entrada (regulación retenida, respuesta dorada retenida) e intervalos de confianza bootstrap.
  • Panel Extendido: Se añadieron 23 modelos adicionales que abarcan frontera cerrada (grandes/pequeños), modelos insignia de peso abierto y niveles de peso abierto pequeños para probar afirmaciones estructurales a nivel de población.
• Métricas: La estabilidad se midió utilizando el $\alpha$ de Krippendorff, correlaciones de Pearson por pares y el $\kappa$ ponderado de Cohen.

Contribuciones Clave

1. Convergencia Asimétrica a Nivel de Población: El estudio identifica una asimetría estructural en el comportamiento de los jueces LLM. En ítems donde la rúbrica guarda silencio sobre la interpretación de una respuesta final correcta con citas estatutarias omitidas (el límite "silencioso-regulatorio"), el panel humano se divide en dos lecturas coherentes (una lectura mayoritaria B/C y una lectura minoritaria A). La población LLM no se divide simétricamente; 22 de 26 LLMs convergen en la lectura mayoritaria (B/C), 3 se sitúan en un hueco intermedio, y solo 1 (GPT-5.4 Nano) se acerca a la lectura minoritaria (A) sin puntuar consistentemente dentro de ella. Cero LLMs reproducen la lectura minoritaria.
2. Desacoplamiento de la Capacidad del Examinado y la Estabilidad del Juez: Utilizando el diseño de doble rol (los mismos 8 LLMs como examinados y jueces), el documento demuestra que el rendimiento de un modelo como examinado no predice su alineación como juez. Los examinados más débiles a menudo se convierten en jueces más fuertes alineados con B/C, mientras que los examinados con las puntuaciones más altas no necesariamente se alinean con la lectura minoritaria. Escalar la capacidad no empuja a la población LLM hacia la lectura minoritaria.
3. Panel de Anclaje Instrumentado: El establecimiento de un sub-panel de anclaje de tres LLMs con instrumentación completa (determinismo, ablaciones, intervalos de confianza bootstrap) que alcanza un $\alpha$ de panel de 0.77, significativamente más alto que el 0.36 del panel humano en los ítems controvertidos.

Resultados Clave

Métricas de Estabilidad

• Ítems No Controversiales: En 10 de 15 celdas (Preguntas 1 y 3), donde la rúbrica prescribe ambos ejes, los paneles humano y LLM son equivalentes en estabilidad ($\alpha \approx 0.75$).
• Ítems Controversiales: En las 5 celdas de la Pregunta 2 (límite silencioso-regulatorio), el panel humano colapsa a $\alpha = -0.34$ debido a la división entre el Examinador A (más estricto, puntuación 1–2) y los Examinadores B/C (más indulgentes, puntuación 6–8).
• Comportamiento de LLM en Ítems Controversiales: El panel LLM mantiene una alta estabilidad ($\alpha = 0.68$) pero converge exclusivamente en la lectura B/C.
  • 22/26 LLMs: Puntuan en la banda B/C ($m_c \in [5, 8]$).
  • 3/26 LLMs: Puntuan en el hueco intermedio ($3 < m_c < 5$).
  • 1/26 LLMs (GPT-5.4 Nano): Se acerca a la banda A ($m_c = 2.33$) pero falla en puntuar consistentemente dentro de ella.
  • Resultado: Ningún LLM reproduce la lectura humana minoritaria.

Diagnósticos de Modo de Fallo

El estudio identifica tres modos de fallo distintos en los LLMs que se desvían del clúster mayoritario:

1. Cuantización de Escala (Claude Haiku 4.5): Colapsa la escala de puntuación a un cubo binario de aprobado/reprobado (3.5 o 7.5), fallando en expresar puntuaciones de rango medio.
2. Calificación Solo por Respuesta Final (GPT-5.4 Mini): Ignora el eje interpretativo, asignando puntuaciones altas únicamente basándose en la corrección de la conclusión final, independientemente de la calidad del razonamiento.
3. Calificación Estricta por Razonamiento (GPT-5.4 Nano): Penaliza estrictamente las citas omitidas en el eje interpretativo, alineándose con la lectura minoritaria A, pero carece de consistencia en todo el conjunto de datos.

Comprobaciones de Robustez

• Determinismo: En $T=0$, los LLMs de anclaje muestran una alta estabilidad intra-juez (Claude $\alpha=0.998$), confirmando que la diversidad inter-modelo (0.77) es una característica de la población, no un artefacto de ruido.
• Ablaciones de Entrada: Eliminar la regulación o la respuesta dorada reduce la estabilidad del panel LLM pero no invierte la dirección de la brecha (el $\alpha$ del LLM permanece más alto que el $\alpha$ humano).
• Análisis de Doble Rol: La correlación entre la puntuación del examinado y la alineación del clúster del juez es exploratoria y negativa ($r = -0.34$), lo que sugiere que los examinados más débiles (que pueden depender más del eje determinista) se alinean más fuertemente con la mayoría B/C como jueces.

Significado y Afirmaciones

El documento afirma que el "techo de estabilidad" en el NLP legal no es una línea plana, sino una falla ubicada en límites silenciosos-regulatorios donde la rúbrica deja la calidad interpretativa al juicio del experto.

• Asimetría del Acuerdo: Un alto acuerdo del panel LLM ($\alpha$) no implica una reproducción equilibrada de la varianza humana. En cambio, refleja una convergencia sistemática en la lectura humana mayoritaria. Una referencia que seleccione un juez LLM maximizando el acuerdo con un panel de referencia humano (que típicamente está sesgado por la mayoría) heredará, por construcción, esta asimetría y filtrará a los jueces capaces de la lectura minoritaria.
• El Cuello de Botella Interpretativo: El estudio define el "cuello de botella interpretativo de la rúbrica" como la zona específica donde la regulación guarda silencio sobre cómo calificar una respuesta correcta con razonamiento incompleto. En esta zona, los paneles humanos se dividen naturalmente en lecturas legítimas y coherentes, mientras que las poblaciones LLM convergen en un lado.
• Limitaciones de la Escala: Los hallazgos sugieren que simplemente escalar la capacidad del modelo no resuelve esta asimetría; los modelos más grandes no adoptan espontáneamente la lectura minoritaria. La convergencia es una propiedad estructural del conjunto de LLMs en esta rúbrica específica, independiente del tamaño del modelo, el proveedor o el nivel de precio.

El documento concluye que los protocolos de evaluación actuales oscurecen el espacio completo de lecturas humanas legítimas. Hace un llamado a referencias que informen la estabilidad del panel por caso interpretativo y evalúen a los jueces LLM contra múltiples lecturas humanas legítimas en lugar de un único objetivo promediado.