Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval

Este artículo presenta un sistema de triaje legal determinista y reproducible basado en codificadores duales y bandas difusas calibradas que equilibra la precisión del cumplimiento normativo con la transparencia y la trazabilidad de auditoría, superando a los modelos opacos y a las reglas manuales en la clasificación de evidencia contractual.

Lo esencial

Imagina que trabajas en un gran bufete de abogados o en el departamento de cumplimiento de una empresa gigante. Tienes miles de contratos, correos electrónicos y políticas apiladas como una montaña de papel (o archivos digitales). Tu trabajo es encontrar rápidamente si esos documentos cumplen con reglas estrictas, como las leyes de privacidad de salud (HIPAA) o normas de seguridad energética.

Hasta ahora, la gente intentaba usar "Inteligencias Artificiales Avanzadas" (como los chatbots modernos) para leer todo esto. Pero hay un problema: esas IAs son como oráculos mágicos pero caprichosos. A veces te dan una respuesta, a veces otra, y si les preguntas lo mismo mañana, podrían decirte algo diferente. Además, nadie sabe exactamente por qué decidieron eso. En el mundo legal, eso es peligroso: no puedes decirle a un juez "la máquina lo dijo" si no puedes explicar cómo lo hizo.

Este paper propone una solución más simple, honesta y predecible. Aquí te lo explico con una analogía sencilla:

1. El Problema: La Torre de Babel Legal

Imagina que tienes que revisar 10,000 contratos para ver si cumplen una regla específica (ej: "¿Protege este contrato los datos de los pacientes?").

• El enfoque actual (IA compleja): Es como pedirle a un genio muy inteligente pero borracho que lea todo y te diga "Sí" o "No". A veces acierta, a veces alucina, y si intentas repetir el proceso, el genio está en un estado diferente. Además, no puedes auditar sus pensamientos.
• El enfoque de este paper: Es como construir un sistema de clasificación automatizado con reglas claras. No es un genio mágico; es un trabajador muy disciplinado que sigue un manual estricto.

2. La Solución: El "Filtro de Tres Pasillos"

Los autores crearon un sistema que funciona como un control de seguridad en un aeropuerto, pero para documentos legales. En lugar de que una IA decida todo de una vez, el sistema usa un "filtro difuso" (fuzzy triage) que divide los documentos en tres zonas:

1. 🟢 Zona Verde (Auto-Aprobado): El documento es tan claro y obvio que cumple la regla perfectamente. El sistema lo marca automáticamente como "Cumple". No necesita humanos.
2. 🔴 Zona Roja (Auto-Rechazado): El documento es claramente malo o no tiene nada que ver con la regla. El sistema lo marca como "No Cumple" automáticamente.
3. 🟡 Zona Amarilla (Revisión Humana): Aquí está la magia. El documento es "dudoso". Quizás cumple un poco, pero no está claro. El sistema dice: "Yo no estoy seguro, un abogado humano debe revisar esto".

¿Por qué es genial esto?
Porque el sistema sabe cuándo no saber. En lugar de adivinar y cometer errores, deja los casos difíciles para los humanos. Esto ahorra tiempo (automatiza el 96-98% de los casos fáciles) y reduce riesgos (los humanos solo revisan lo difícil).

3. La "Caja Negra" vs. La "Caja de Cristal"

El paper critica a las IAs grandes (LLMs) porque son "cajas negras": entras con un documento y sale una respuesta, pero no sabes qué pasó dentro.

• Su sistema: Es una "caja de cristal". Todo el proceso es determinista. Si metes el mismo documento hoy, mañana y en 10 años, obtendrás exactamente la misma respuesta.
• Analogía: Imagina que usas una calculadora. Si pones 2 + 2, siempre te dará 4. Nadie duda de la calculadora. Las IAs modernas a veces actúan como un dado: si lanzas 2 + 2, a veces te da 4, a veces 4.1. Para un juez o un auditor, la calculadora (el sistema de este paper) es mucho más confiable porque es predecible y se puede auditar paso a paso.

4. ¿Cómo aprende el sistema?

En lugar de leer millones de libros de leyes y "adivinar" patrones, el sistema se entrena con dos tipos de ejemplos:

1. Ejemplos de "Grado": Le enseñan a clasificar documentos en una escala del 0 al 5 (como calificar un examen). Esto le ayuda a entender qué tan bueno es un documento para cumplir una regla.
2. Ejemplos de "Sí/No": Luego, le enseñan a decidir si un documento es suficiente o no para una regla específica, incluso cuando hay muy pocos ejemplos de "Sí" (como encontrar una aguja en un pajar).

5. El Resultado Final

El sistema logra dos cosas increíbles:

• Recuperación: Encuentra los documentos relevantes muy bien (como un buscador muy inteligente).
• Seguridad: Al usar los "tres pasillos" (Verde, Rojo, Amarillo), asegura que los errores solo ocurran en la zona amarilla, donde un humano los corrige.

En resumen

Este paper dice: "No necesitamos un oráculo mágico e impredecible para cumplir la ley. Necesitamos una herramienta simple, transparente y predecible que sepa cuándo delegar a un humano."

Es como cambiar de tener un asistente que adivina las respuestas, a tener un sistema de clasificación que te dice: "Esto es obvio (yo lo hago), esto es malo (yo lo descarto), y esto es confuso (tú, abogado, revísalo)". Esto hace que el proceso sea más rápido, más justo y, lo más importante, auditable ante cualquier regulador.

Resumen técnico

Resumen Técnico: Triaje Difuso Determinista para Cumplimiento Legal

1. El Problema

Los equipos legales y de cumplimiento (GRC) enfrentan el desafío de revisar volúmenes masivos de documentos contractuales para justificar decisiones ante reguladores (ej. HIPAA, NERC-CIP). Los enfoques actuales presentan dos limitaciones críticas:

• Modelos de "Caja Negra": Los LLMs (Modelos de Lenguaje Grandes) con RAG (Generación Aumentada por Recuperación) suelen ser no deterministas, propensos a alucinaciones y difíciles de auditar, lo que es inaceptable en entornos regulados donde se requiere trazabilidad exacta.
• Falta de Matices y Triaje: Los clasificadores binarios tradicionales (sí/no) no capturan el grado de relevancia de una cláusula ni ofrecen un mecanismo principista para delegar casos inciertos a revisión humana. Esto obliga a los usuarios a confiar ciegamente o ignorar las salidas del modelo.

El objetivo es crear un sistema que no reemplace la revisión humana, sino que la asista mediante un flujo de trabajo escalable, explicativo y determinista, capaz de distinguir entre evidencia "automatizable" y casos que requieren juicio humano.

2. Metodología

El autor propone un pipeline de tres componentes basado en un codificador dual de RoBERTa, diseñado para ser reproducible y transparente:

• Arquitectura Base (Dual Encoder):

  • Se utiliza RoBERTa-base como codificador compartido para consultas (reglas de control) y cláusulas contractuales.
  • Las salidas se proyectan en un espacio de 512 dimensiones y se calcula la similitud coseno como puntuación base.
  • Este diseño permite la indexación offline y la búsqueda aproximada de vecinos más cercanos (ANN), crucial para sistemas de "Sistemas Operativos de Evidencia".

• Entrenamiento en Dos Etapas:

  1. Recuperación Graduada (ACORD): Se entrena el codificador dual utilizando el benchmark ACORD (datos de seguros) con un objetivo de ranking listwise. Se optimiza para recuperar las cláusulas más relevantes (puntuaciones 4-5 estrellas) utilizando una pérdida que respeta la relevancia graduada (NDCG).
  2. Clasificación Binaria (CUAD): Se ajusta fino (fine-tuning) el mismo modelo en un dataset derivado de CUAD para una tarea de clasificación binaria (cumpliente vs. no cumpliente). Dado el desequilibrio extremo de clases (aprox. 0.6% de positivos), se utiliza un peso de clase positiva (ej. $w=200$) en la función de pérdida para maximizar la recuperación (recall) de cláusulas de riesgo.

• Cabeza de Triaje Difuso (Fuzzy Triage Head):

  • En lugar de un umbral fijo, se introduce una capa que mapea la puntuación de similitud a tres regiones:
    1. No Cumpliente Automático ($s < \tau_{low}$)
    2. Revisión Humana ($\tau_{low} \le s \le \tau_{high}$)
    3. Cumpliente Automático ($s > \tau_{high}$)
  • Los umbrales ($\tau_{low}, \tau_{high}$) se ajustan en el conjunto de validación para maximizar la cobertura de decisiones automáticas sujetas a una restricción estricta de error (máximo 2% de error en las decisiones automáticas).

3. Contribuciones Clave

1. Línea Base Reproducible: Un modelo dual encoder simple y determinista que supera a las líneas base de mayoría y aleatorias, ofreciendo una alternativa auditables a los LLMs opacos.
2. Mecanismo de Triaje Explícito: Una interfaz que expone explícitamente la compensación entre cobertura y error, permitiendo a los auditores definir qué porcentaje de casos se automatizan y cuáles se envían a humanos.
3. Alineación Regulatoria: El sistema está diseñado para mapear sus salidas a conceptos legales como "riesgo residual" y "control de acceso", facilitando la justificación ante marcos como HIPAA y NERC-CIP.
4. Determinismo Total: Al fijar semillas aleatorias y usar un pipeline fijo, el mismo conjunto de datos produce siempre los mismos resultados, permitiendo la re-ejecución forense por reguladores o expertos.

4. Resultados Experimentales

Los experimentos se realizaron en una sola GPU NVIDIA A100 con 5 semillas aleatorias (40-44).

• Recuperación (ACORD):

  • NDCG@5: 0.38 – 0.42
  • NDCG@10: 0.45 – 0.50
  • Precisión 4-estrellas@5: ~0.37
  • Interpretación: El modelo recupera eficazmente las cláusulas más relevantes para un control dado.

• Clasificación Binaria (CUAD):

  • AUC: 0.98 – 0.99 (superior a las líneas base).
  • Recall: Hasta 0.98 (con peso de clase positiva alto), crucial para no pasar por alto cláusulas de riesgo.
  • F1: 0.22 – 0.30 (limitado por el desequilibrio extremo, pero con alta utilidad práctica en modo "screener").

• Comportamiento de Triaje:

  • El sistema logra automatizar entre el 96% y el 98.6% de las cláusulas.
  • Mantiene la tasa de error en las decisiones automáticas por debajo del 2% (ej. 1.15% en el modelo no ponderado).
  • Concentra la incertidumbre en una banda de revisión humana pequeña y manejable.

5. Significado y Conclusión

El artículo argumenta que para tareas de alto riesgo como el cumplimiento legal, la simplicidad y la transparencia son superiores a la complejidad opaca.

• Defensa Legal: A diferencia de los LLMs que cambian con el tiempo y son estocásticos, este modelo permite reconstruir exactamente por qué se tomó una decisión, qué parámetros se usaron y qué cláusulas fueron revisadas por humanos.
• Flujo de Trabajo Realista: En lugar de esperar una respuesta "sí/no" perfecta, el sistema actúa como un filtro inteligente que prioriza el trabajo humano hacia los casos ambiguos (la banda de revisión), reduciendo la carga de trabajo sin sacrificar la seguridad.
• Viabilidad: Demuestra que modelos pequeños y deterministas (RoBERTa-base) pueden ofrecer señales significativas para la recuperación de evidencia y el triaje de cumplimiento, sin necesidad de infraestructuras masivas o modelos propietarios inaudibles.

En resumen, la propuesta ofrece un "punto medio práctico" entre las reglas manuales rígidas y los LLMs inaudibles, proporcionando un sistema escalable, auditables y alineado con las necesidades de responsabilidad profesional en la industria legal.