Resumen Técnico: Evaluación Comparativa de la Detección de Alucinaciones Legales

Planteamiento del Problema

La rápida adopción de los Modelos de Lenguaje Extensos (LLM) en la práctica jurídica ha transformado la fabricación de citas legales de un error individual poco común a un problema sistémico. Mientras que las suposiciones anteriores sugerían que los modelos más nuevos alucinarían menos o que las sanciones judiciales disuadirían a los presentadores negligentes, la evidencia empírica indica lo contrario: el número de escritos judiciales que contienen citas fabricadas está creciendo año tras año, y las tasas de alucinación en los modelos más nuevos (por ejemplo, GPT-5.1) no están disminuyendo consistentemente en comparación con las iteraciones de mediados de 2024.

Esta tendencia crea una carga de verificación compuesta. Los modelos más nuevos generan más citas por documento y recurren a un conjunto de casos más amplio y menos canónico, lo que dificulta la verificación individual. Esta carga afecta desproporcionadamente a los litigantes pro se, quienes carecen de acceso a bases de datos legales comerciales (por ejemplo, Westlaw, LexisNexis) y están menos equipados para detectar alucinaciones. Actualmente, la verificación de citas es un proceso manual realizado por abogados, secretarios o jueces, lo que consume recursos judiciales significativos. Existe una brecha crítica en la literatura: mientras que la investigación previa evalúa si los LLM producen explicaciones o resúmenes legales fácticamente correctos, ningún benchmark previo evalúa la eficacia de los sistemas de IA en la verificación automática de citas legales.

Metodología

1. Taxonomía de las Alucinaciones de Citas Legales

Los autores proponen una taxonomía basada en escritos judiciales reales, categorizando las alucinaciones en cinco tipos distintos:

• Cita inexistente: La cita apunta a un caso que no existe (por ejemplo, volumen o página del reportero alterados).
• Discrepancia en el nombre del caso: La cita del reportero y el nombre del caso se refieren a dos casos reales distintos.
• Pincite incorrecto: La cita se refiere al caso correcto, pero el número de página específico no respalda la proposición citada.
• Cita textual errónea: El lenguaje citado no aparece exactamente como está escrito en el caso citado (por ejemplo, sustitución de sinónimos).
• Tergiversación de contenido: El caso citado existe, pero no respalda la proposición legal para la cual es citado.

2. El Conjunto de Datos LEPHANTOMCITE

Para permitir la evaluación comparativa, los autores construyeron LEPHANTOMCITE, un conjunto de datos de 1,300 fragmentos de escritos legales:

• 1,000 fragmentos de escritos de apelación federales reales (anteriores a 2022) con alucinaciones inyectadas sistemáticamente que cubren las cinco categorías de la taxonomía.
• 300 entradas del conjunto de datos "Large Legal Fiction" (Dahl et al., 2024), verificadas manualmente y reformateadas para proporcionar ejemplos realistas de tergiversación de contenido.
• El conjunto de datos contiene 4,499 instancias de citas totales, con 1,107 que contienen alucinaciones.

3. Marco de Verificación Agéntica

El estudio evalúa la verificación de citas utilizando un sistema agéntico basado en el marco de Diseño Experimental Óptimo Bayesiano (BOED) (Zheng et al., 2026). A diferencia de los baselines no agénticos que generan una única respuesta, el agente mantiene un estado de creencia explícito basado en el lenguaje, el cual se actualiza después de cada acción.

• Acciones: El agente puede realizar búsquedas en bases de datos legales (CourtListener, Westlaw), búsquedas web y extraer información.
• Proceso: El agente extrae citas, decide estrategias de recolección de información e actualiza iterativamente su estado de creencia (correcto, alucinado o pendiente) hasta que se toma una determinación o se agota el presupuesto de pasos.
• Modelos Evaluados: Se probaron cinco modelos tanto en entornos agénticos como no agénticos: GPT-5, GPT-OSS-120B, Qwen3-8B, Qwen3.5-27B y Gemini-2.5-flash. También se evaluó un agente de producción Claude Code (Opus 4.8) para fines de comparación.

Resultados Clave

Métricas de Rendimiento

El estudio mide el rendimiento utilizando Precisión, Recall (exhaustividad) y puntuación F1, tratando la detección de alucinaciones como una tarea de recuperación con criterios de coincidencia relajados.

• Agéntico vs. No Agéntico: Los marcos agénticos superaron consistentemente a los baselines no agénticos. Para GPT-5, el marco agéntico mejoró el recall en un 19.7% (del 63.1% al 82.8%).
• Mejor Rendimiento General: GPT-5 en un entorno agéntico logró el mayor recall (82.8%) y la puntuación F1 más alta (60.5%).
• Claude Code: El agente Claude Code logró la mayor precisión (76.1%) y la mayor puntuación F1 (68.8%), aunque con un recall menor (62.8%) que GPT-5. Utilizó las llamadas a herramientas de manera más eficiente (promedio de 15.4 llamadas por fragmento frente al mayor volumen de GPT-5).

Rendimiento por Tipo de Alucinación

• Alto Recall: Los modelos generalmente funcionaron bien detectando casos inexistentes y discrepancias en el nombre del caso.
• Bajo Recall: Todos los modelos tuvieron dificultades significativas con los pincites incorrectos (recall tan bajo como 18.2% para GPT-5). Esto se atribuye al hecho de que la información de la página a menudo solo está disponible en bases de datos comerciales (Westlaw/Lexis) y está ausente de los repositorios públicos gratuitos como CourtListener.
• Tergiversación de Contenido: El rendimiento varió según la fuerza del modelo; GPT-5 detectó más del 80% de estos errores, mientras que los modelos más débiles detectaron alrededor del 50%.

Análisis de Errores

• Límites de Acceso a la Información: Una parte significativa de los falsos positivos ocurrió porque los modelos interpretaron la ausencia de un caso en bases de datos gratuitas (CourtListener) como una alucinación, en lugar de una brecha de cobertura.
• Agotamiento de Recursos: El 25% de los falsos negativos ocurrieron porque los agentes alcanzaron el límite de 30 pasos antes de verificar todas las citas.
• Redundancia: Los agentes a menudo desperdiciaron pasos en consultas redundantes o en el reenvío de búsquedas que ya habían llegado a un callejón sin salida.
• Utilidad Inesperada: El agente identificó con éxito más de 10 errores tipográficos humanos en citas de escritos previos a la era de los LLM que estaban presentes en los documentos originales.

Significado y Reivindicaciones

El artículo argumenta que la alucinación de citas legales no es un artefacto temporal de los primeros LLM, sino un desafío persistente y creciente que no se corregirá automáticamente a medida que los modelos mejoren. Los autores sostienen las siguientes contribuciones:

1. Evidencia Empírica: Los datos longitudinales a través de ocho generaciones de ChatGPT muestran que las tasas de alucinación no disminuyen consistentemente, mientras que el volumen de escritos con alucinaciones crece.
2. Infraestructura de Benchmarking: La introducción de LEPHANTOMCITE y su taxonoma asociada proporciona el primer conjunto de datos estandarizado para evaluar y auditar las herramientas automatizadas de verificación de citas legales.
3. Viabilidad de la Verificación Agéntica: El estudio demuestra que los sistemas agénticos pueden mejorar significamente el recall sobre los modelos estáticos, ofreciendo un camino estructural para reducir la carga de verificación en los tribunales.
4. Implicaciones de Política: Los resultados resaltan que el acceso a la información es una restricción vinculante para el rendimiento de la verificación. La incapacidad de las herramientas automatizadas para verificar pincites sin acceso a bases de datos comerciales crea una disparidad que desfavorece a los litigantes pro se y al público. Los autores sugieren que mejorar el acceso público a los datos legales (por ejemplo, la paginación oficial) es un requisito previo necesario para una verificación automatizada efectiva, en lugar de depender únicamente de la mejora de los modelos o de sanciones reactivas.

Los autores concluyen que el despliegue responsable de la IA en el derecho requiere tratar la verificación como un "problema de primera clase", proporcionando una base para construir y auditar las herramientas necesarias para mantener la integridad del proceso judicial.