💬 NLP

From Benchmarking to Reasoning: A Dual-Aspect, Large-Scale Evaluation of LLMs on Vietnamese Legal Text

Este artículo presenta un marco de evaluación dual que combina un benchmark cuantitativo y un análisis cualitativo de errores para revelar que, aunque los modelos de lenguaje grandes pueden simplificar textos legales vietnamitas, su principal limitación radica en el razonamiento jurídico preciso y controlado más que en la mera síntesis.

Autores originales: Van-Truong Le

Publicado 2026-04-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Van-Truong Le

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que las leyes de Vietnam son como un gigantesco manual de instrucciones escrito en un idioma secreto, lleno de palabras raras y frases complicadas que solo los abogados entienden. Para el ciudadano común, este manual es como una caja fuerte cerrada: sabe que hay algo importante dentro, pero no puede abrirlo.

Los Modelos de Lenguaje Grande (LLM), como GPT-4o o Claude, son como unos traductores mágicos muy inteligentes. La idea es que estos robots puedan leer ese manual aburrido y difícil, y luego explicárselo a la gente normal en un lenguaje sencillo, como si estuvieran contando una historia.

Pero, ¿son buenos traductores? ¿O a veces inventan cosas?

Este artículo es como un examen de control de calidad muy estricto que le pusimos a cuatro de estos "traductores mágicos" (GPT-4o, Claude 3 Opus, Gemini 1.5 Pro y Grok-1) para ver cómo funcionan con las leyes de Vietnam.

¿Cómo hicimos el examen?

En lugar de solo mirar la nota final, hicimos dos cosas:

La Prueba de Superficie (El "Qué"): Pusimos a los robots a traducir 60 leyes difíciles. Luego, les dimos tres notas:
- ¿Es correcto? (¿Miente sobre la ley?)
- ¿Es fácil de entender? (¿Suena como un humano o como un robot?)
- ¿Es constante? (Si le preguntas lo mismo dos veces, ¿da la misma respuesta?)
La Autopsia de los Errores (El "Por qué"): Aquí es donde se pone interesante. No solo miramos la nota, sino que abrimos cada respuesta y buscamos dónde fallaron. Usamos una lista de "tipos de errores" creada por expertos legales para ver exactamente qué estaba mal.

Los Resultados: Cada Robot tiene su "Personalidad"

Descubrimos que no hay un robot perfecto. Cada uno tiene una personalidad distinta, como personajes de una película:

Grok-1 (El "Obediente Cauteloso"):
- Su superpoder: Es el más fácil de leer y el más constante. No se inventa cosas locas.
- Su debilidad: A veces es tan cauteloso que no entiende bien los ejemplos. Es como un estudiante que copia el texto del libro palabra por palabra para no equivocarse, pero no logra explicar por qué funciona la ley con un ejemplo real.
- Veredicto: Es el más seguro, pero no el más brillante.
Claude 3 Opus (El "Abogado Ambicioso"):
- Su superpoder: Tiene la nota más alta en precisión legal. Parece que sabe todo.
- Su debilidad: Es tan ambicioso que a veces se inventa interpretaciones muy sutiles pero incorrectas. Es como un abogado joven que quiere impresionar al juez con una teoría muy compleja, pero se equivoca en un detalle crucial que cambia todo el caso.
- Veredicto: Parece el mejor, pero es peligroso porque sus errores son muy difíciles de detectar.
GPT-4o (El "Profesor que Simplifica Demasiado"):
- Su superpoder: Quiere que todo sea muy fácil de entender.
- Su debilidad: Simplifica tanto la ley que la hace perder su sentido. Es como un profesor que explica una operación matemática compleja diciendo "simplemente suma los números", ignorando que hay reglas especiales para ciertos casos.
- Veredicto: Muy amigable, pero a veces peligroso porque oculta detalles importantes.
Gemini 1.5 Pro (El "Inestable"):
- Su personalidad: Es impredecible. A veces da respuestas perfectas y otras veces comete errores lógicos graves o se contradice a sí mismo.
- Veredicto: No te puedes fiar de él para cosas importantes.

La Gran Lección: La "Ilusión de Competencia"

El hallazgo más importante es que estos robots son excelentes para reescribir texto, pero aún son malos para "pensar" como abogados.

Pueden escribir un párrafo que suena muy legal y fluido, pero si les pides que apliquen esa ley a una situación nueva (un ejemplo), a menudo fallan. Es como si pudieran recitar la receta de un pastel perfectamente, pero si intentan cocinarlo sin la receta, queman la cocina.

Conclusión: ¿Podemos confiar en ellos?

La respuesta corta es: No todavía, sin supervisión humana.

Si usamos a estos robots para ayudar a la gente a entender sus derechos legales, necesitamos que un abogado humano revise lo que dicen. Los robots son como asistentes muy rápidos, pero si no los vigilamos, pueden dar consejos que suenan bien pero que son legalmente incorrectos.

Este estudio nos dice que, antes de confiar ciegamente en la inteligencia artificial para las leyes, primero debemos enseñarles a "pensar" mejor y a no simplificar demasiado las cosas importantes. Es un paso gigante hacia la justicia, pero aún necesitamos mantener el control humano en el volante.

Título: De la Evaluación de Referencia al Razonamiento: Una Evaluación Dual a Gran Escala de LLMs en Textos Legales Vietnamitas

1. El Problema

El acceso a la justicia en Vietnam se ve obstaculizado por la complejidad y el lenguaje técnico ("legalese") de sus textos legales. Aunque los Modelos de Lenguaje Grande (LLMs) ofrecen la promesa de simplificar estas leyes para el público general, existe un riesgo crítico: la generación de simplificaciones que son fluidas y plausibles pero inexactas.
Las evaluaciones existentes se limitan a métricas superficiales (como la precisión general o la legibilidad), las cuales fallan en explicar por qué un modelo falla. Un modelo puede obtener una puntuación alta de precisión al resumir una regla general, pero cometer errores catastróficos de razonamiento al omitir excepciones críticas o malinterpretar conceptos abstractos. Existe una brecha en la literatura para un marco de evaluación holístico que combine la cuantificación a gran escala con un diagnóstico cualitativo profundo de los fallos de razonamiento legal.

2. Metodología

Los autores proponen un marco de evaluación de doble aspecto aplicado a un conjunto de datos curado de 60 artículos legales complejos (extraídos del Código Penal 2015, el Código Civil 2015 y la Ley de Tierras 2024).

Modelos Evaluados: Se seleccionaron cuatro LLMs de vanguardia: GPT-4o, Claude 3 Opus, Gemini 1.5 Pro y Grok-1.
Tarea: Se utilizó un prompt zero-shot consistente, solicitando a los modelos que actuaran como asistentes legales para explicar los artículos en términos simples y proporcionar un ejemplo práctico. Se generaron 480 respuestas en total (4 modelos × 60 artículos × 2 ejecuciones).
Fase 1: Benchmarking de Rendimiento (Cuantitativo):
- Precisión Legal: Evaluada por estudiantes de derecho (escala 1-5), ponderando la preservación del contenido (40%), la completitud (30%), la claridad (20%) y la relevancia del ejemplo (10%).
- Legibilidad: Evaluada por 253 no expertos, enfocándose en la facilidad del lenguaje, la coherencia estructural y la utilidad de los ejemplos.
- Consistencia: Medida mediante similitud semántica, superposición léxica (BLEU), estabilidad de longitud y puntuación humana.
Fase 2: Análisis de Errores de Razonamiento (Cualitativo):
- Se desarrolló una tipología de errores validada por expertos con 9 categorías específicas para la simplificación legal (ej. Omisión de elementos centrales, Malinterpretación, Sobre-simplificación, Ejemplos incorrectos).
- El proceso de anotación fue realizado por un equipo de estudiantes de derecho con un acuerdo inter-evaluador sustancial ( $\kappa = 0.72$ ).

3. Contribuciones Clave

Marco de Evaluación Dual: Integra métricas de alto nivel con un análisis de errores granular, permitiendo no solo clasificar modelos, sino diagnosticar sus modos de fallo sistémicos.
Tipología de Errores Específica: Introduce una taxonomía de 9 categorías diseñada específicamente para capturar fallos de razonamiento en tareas de simplificación (más allá de las simples "alucinaciones" factuales), como la sobre-simplificación y la malinterpretación de términos legales.
Estudio a Gran Escala en Vietnamita: Es una de las primeras evaluaciones exhaustivas de LLMs comerciales en el dominio legal vietnamita, abordando la escasez de recursos para idiomas de bajos recursos y sistemas de derecho civil.
Descubrimiento de Compensaciones (Trade-offs): Identifica que la alta fluidez y legibilidad a menudo enmascaran deficiencias críticas en el razonamiento lógico y la fidelidad legal.

4. Resultados Principales

El análisis reveló perfiles de error distintivos y compensaciones significativas entre los modelos:

Grok-1 (El "Cumplidor Cauteloso"): Obtuvo el mejor puntaje total, dominando en Legibilidad y Consistencia. Cometió el menor número total de errores (89) y cero errores de malinterpretación u omisión de elementos centrales. Sin embargo, falló principalmente en la generación de ejemplos (ejemplos irrelevantes o incorrectos), mostrando una adherencia estricta al texto fuente que limita su capacidad de inferencia.
Claude 3 Opus (El "Abogado Ambicioso"): Lideró en Precisión Legal (4.71/5), pero esto enmascaró un alto número de errores sutiles pero críticos (196 en total). Su tendencia a realizar inferencias complejas y conexiones abstractas resultó en una alta frecuencia de Malinterpretaciones (41 errores), fallando en conceptos legales matizados.
GPT-4o (El "Profesor que Simplifica en Exceso"): Su fallo dominante fue la Sobre-simplificación (48 errores). Priorizó la accesibilidad eliminando condiciones legales esenciales, lo que generó máximos peligrosamente engañosos.
Gemini 1.5 Pro: Mostró una alta variabilidad. Aunque produjo respuestas perfectas, también cometió contradicciones internas y errores lógicos significativos, lo que reduce su fiabilidad en contextos sensibles.

Hallazgo Crítico: Existe una "ilusión de competencia". Los modelos son excelentes para parafrasear texto existente, pero luchan sistemáticamente al aplicar principios legales a nuevos escenarios (ej. generar ejemplos correctos). La métrica de precisión agregada a menudo oculta fallos de razonamiento profundos.

5. Significado e Implicaciones

Seguridad en IA Legal: El estudio concluye que desplegar LLMs para asistencia legal pública sin supervisión humana robusta es prematuro. La fluidez lingüística no equivale a competencia legal.
Diseño de Sistemas: Se propone un enfoque de "supervisión humana consciente del riesgo". En lugar de tratar todos los outputs por igual, los sistemas deberían redirigir la generación de ejemplos y las inferencias complejas de modelos propensos a la sobre-interpretación (como Claude) a profesionales legales.
Futuro de la Investigación: Destaca la necesidad de avanzar más allá de la simple precisión factual hacia el razonamiento controlado y la evaluación de modelos en sistemas de derecho civil y lenguas no inglesas. El marco propuesto sirve como una hoja de ruta para auditar y mejorar la fiabilidad de la IA legal en Vietnam y otras jurisdicciones similares.