Resumen Técnico: LegalHalluLens

1. Planteamiento del Problema

Los sistemas de IA legal actuales desplegados en flujos de trabajo (revisión de contratos, cumplimiento, debida diligencia) exhiben tasas de alucinación que las métricas agregadas reportan en aproximadamente un 52%. Sin embargo, el artículo argumenta que este promedio es insuficiente para un despliegue confiable porque oculta dos dimensiones críticas:

1. Concentración de Fallos: Los errores no son uniformes; se concentran fuertemente en tipos de reclamos específicos (por ejemplo, cláusulas numéricas y de obligación) que conllevan la mayor responsabilidad legal, mientras que otros tipos (por ejemplo, temporales) son significativamente más fiables.
2. Dirección del Error: Las métricas agregadas no logran distinguir entre omisión (omitir una obligación presente) e invención (fabricar una cláusula inexistente). Estos dos modos de fallo tienen consecuencias legales distintas (por ejemplo, cláusulas inaplicables frente a techos de riesgo falsos), pero a menudo se tratan de forma idéntica en los informes estándar.

En consecuencia, los oficiales de cumplimiento carecen de señales accionables para seleccionar modelos o diseñar intervenciones, ya que dos sistemas con tasas de alucinación agregadas idénticas pueden poseer perfiles de riesgo opuestos.

2. Metodología

Los autores proponen LegalHalluLens, un marco de auditoría compuesto por tres componentes, evaluado en el corpus CUAD v1.0 (510 contratos comerciales, 41 tipos de cláusulas, 249,252 instancias a nivel de cláusula).

A. Perfiles de Alucinación Tipificados

En lugar de una única tasa agregada, el marco particiona los errores en cuatro categorías de reclamos motivadas legalmente según la dificultad de verificación:

• Numérico: Umbrales y valores (por ejemplo, topes de responsabilidad).
• Temporal: Fechas y plazos.
• Obligación/Derecho: Verbos modales, condiciones y exclusiones.
• Fáctico: Reclamos de identidad (por ejemplo, ley aplicable).

El estudio mide la HalTP (tasa de alucinación de contenido entre las cláusulas detectadas) para cada categoría. Define un Gap Tipificado como la diferencia entre la tasa de alucinación más alta y la más baja dentro de un mismo modelo.

B. Índice de Dirección de Riesgo (RDI)

Para capturar la naturaleza direccional de los errores, los autores introducen el Índice de Dirección de Riesgo (RDI). Este es un escalar con signo derivado de la proporción de hallazgos contradichos que son "condiciones faltantes" (omisiones) frente a "condiciones extra" (invenciones).

• Fórmula: $RDI = p_{extra} - p_{missing}$
• Interpretación: Los valores positivos indican un fallo con predominancia de invención (sobreestimación); los valores negativos indican un fallo con predominancia de omisión (subestimación). Esto permite la comparación de sistemas que han igualado las tasas de error agregadas pero poseen sesgos direccionales opuestos.

C. Pipeline de Debate Multitarea Calibrado

El marco utiliza los resultados diagnósticos (Perfiles Tipificados y RDI) para calibrar un pipeline de debate multi-agente. A diferencia de las configuraciones de debate genéricas, este pipeline está específicamente ajustado a los modos de fallo medidos:

• Desafíos del Escéptico Tipificado: El agente "Escéptico" emite desafíos específicos basados en el tipo de reclamo (por ejemplo, verificar valores verbatim para reclamos numéricos, verificar verbos modales para obligaciones).
• Puertas Estructurales Asimétricas: El pipeline emplea una Puerta de Adición (que requiere consenso y verificación para añadir una cláusula) y una Puerta de Delexión (que bloquea la eliminación si la verificación confirma la presencia). Esta asimetría está calibrada al perfil específico de Tasa de Falsos Aceptaciones (FAR) frente a la Tasa de Falsos Rechazos (FRR) del modelo objetivo.
• Roles: El pipeline incluye un Escéptico, un Defensor, un Re-extractor (para errores estructurales), un Árbitro, un Verificador y un Juez.

3. Resultados Clave

Experimento 1: Perfiles de Alucinación Tipificados

• Orden de Fallo Consistente: A través de cuatro modelos diversos (dos APIs comerciales, dos modelos de código abierto), se observó un orden de fallo consistente: {Numérico, Obligación} ≫ Fáctico ≥ Temporal.
• El Gap Oculto: Mientras que las tasas de HalTP agregadas se agruparon estrechamente entre 50.9% y 56.5%, el gap dentro del modelo entre los tipos de reclamos más y menos fiables fue de aproximadamente 38–40 puntos porcentuales.
  • Los reclamos Numéricos/de Obligación alucinaron entre el 64.8% y 74.3%.
  • Los reclamos Temporales alucinaron solo entre el 29.0% y 35.1%.
• Implicación: El reporte agregado oculta el hecho de que los modelos son 2x–2.5x más poco fiables en las cláusulas que determinan la responsabilidad y la aplicabilidad.

Experimento 1: Índice de Dirección de Riesgo

• Diferenciación Direccional: Dos modelos con un HalTP agregado casi idéntico (gpt-5.2 con 51.8% y qwen3-32b con 52.1%) exhibieron valores de RDI opuestos.
  • gpt-5.2: RDI positivo (+0.161), indicando una tendencia a inventar condiciones extra.
  • qwen3-32b: RDI negativo (-0.202), indicando una tendencia a omitir condiciones existentes.
• Significancia: Esta distinción es crítica para el despliegue; los modelos con predominancia de omisión plantean riesgos en el monitoreo de cumplimiento, mientras que los modelos con predominancia de invención plantean riesgos en la evaluación de responsabilidad.

Experimento 2: Mitigación Calibrada

• Desempeño: La aplicación del pipeline de debate tipificado a un modelo pequeño de código abierto (gemma-4-26B-A4B, 4B parámetros activos) permitió que superara a las APIs comerciales en un subconjunto comparativo.
  • El modelo debatido logró un rango compuesto de 1 (bajo 4 de 5 esquemas de ponderación), superando a gpt-5.2 (rango 2).
• Reducción de Fabricación: El pipeline redujo las detecciones fabricadas (FAR) en un 45% (de 524 a 287 instancias).
• Ganancias Dirigidas: Las mejoras se concentraron en las categorías de mayor fallo identificadas en el Experimento 1:
  • Obligación: $\Delta$FAR = -8.2 pp.
  • Fáctico: $\Delta$FAR = -5.8 pp.
  • Temporal: Cambio mínimo (+0.6 pp), consistente con su baja tasa base de error.
• Corrección de Dirección: El pipeline logró desplazar el RDI del modelo debatido de una predominancia de omisión (-0.078) a un estado casi equilibrado (-0.014) para los reclamos de obligación.

4. Significancia y Reivindicaciones

El artículo sostiene que LegalHalluLens proporciona un cambio necesario de la precisión agregada hacia la auditoría consciente de la dirección para la IA legal.

• Diagnósticos Accionables: Los perfiles tipificados y el RDI sirven como entradas de calibración para el diseño de agentes, permitiendo decisiones de adquisición basadas en perfiles de riesgo específicos (por ejemplo, elegir un modelo con predominancia de invención para operaciones frente a uno con predominancia de omisión para cumplimiento).
• Mitigación Costo-Eficiente: El estudio demuestra que un modelo pequeño de código abierto (4B parámetros activos) puede igualar o superar a las APIs comerciales cuando su pipeline de debate se calibra para modos de fallo específicos, en lugar de utilizar un ajuste genérico.
• Limitaciones y Alcance: Los autores declaran explícitamente que los resultados numéricos se aplican a contratos comerciales de EE. UU. en inglés tipo CUAD. El orden de fallo es consistente entre arquitecturas, pero debe volver a medirse para otras jurisdicciones o tipos de documentos.
• Advertencia de Seguridad: El marco es diagnóstico, no un mecanismo de certificación. Incluso la mejor configuración contradijo el texto fuente en aproximadamente el 58% de los contenidos detectados. Los autores recomiendan la revisión humana en el bucle (human-in-the-loop) para todas las cláusulas señaladas en categorías de alto riesgo y advierten contra el despliegue autónomo sin una re-medición por cada despliegue.

En resumen, el artículo argumenta que el despliegue confiable de la IA legal requiere saber qué reclamos fallan y cómo fallan, en lugar de confiar en una única tasa de alucinación agregada.