A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification

Este trabajo propone una arquitectura de dos etapas que combina un modelo LLM (LLaMA-3.1-8B-Instruct) para la segmentación de cláusulas y un clasificador Transformer (Legal-Roberta-Large) para su clasificación en acuerdos de confidencialidad, logrando un alto rendimiento en la automatización de su análisis.

Lo esencial

¡Claro que sí! Imagina que los Acuerdos de No Divulgación (NDA) son como esos contratos legales largos, aburridos y llenos de letra pequeña que las empresas firman para proteger sus secretos. Leerlos uno por uno es como intentar encontrar una aguja en un pajar, pero el pajar está hecho de paja de diferentes colores, tamaños y formas, y la aguja a veces se disfraza.

Los abogados humanos se cansan, se equivocan y tardan mucho. Para solucionar esto, los autores de este paper (Ana, Matheus y Leonardo) crearon un "Dúo Dinámico" de Inteligencia Artificial que funciona como un equipo de dos especialistas trabajando en cadena.

Aquí te explico cómo funciona este equipo, usando analogías sencillas:

1. El Problema: El "Muro de Texto"

Los contratos de confidencialidad son un caos. Unos tienen dos columnas, otros una; unos usan palabras muy técnicas, otros son más simples. Intentar analizarlos con reglas fijas (como un robot antiguo que solo busca la palabra "secreto") es inútil porque el lenguaje legal es muy flexible.

2. La Solución: El Equipo de Dos Pasos

El sistema propuesto es como una fábrica de procesamiento de documentos con dos estaciones de trabajo:

🛠️ Estación 1: El "Cortador de Pasto" (Segmentación)

• El Modelo: Usan un modelo gigante llamado LLaMA-3.1 (piensa en él como un lector voraz y muy inteligente que puede leer libros enteros de una sentada).
• La Tarea: Su trabajo es tomar un contrato completo de 50 páginas y decir: "¡Oye! Aquí empieza la cláusula sobre 'Confidencialidad', aquí termina la de 'Plazos' y aquí empieza la de 'Propiedad Intelectual'".
• El Reto: Como los contratos no tienen un formato estándar, el modelo debe aprender a reconocer dónde termina una idea y empieza otra, aunque no haya un título grande que lo diga.
• La Magia: Funciona tan bien que, si comparas lo que cortó la IA con lo que un abogado humano cortó, coinciden en un 95%. Es como si el robot pudiera leer la intención del autor y separar el texto perfectamente, sin perder ni una coma.

🏷️ Estación 2: El "Etiquetador de Archivos" (Clasificación)

• El Modelo: Aquí entra un modelo más pequeño y especializado llamado Legal-Roberta (piénsalo como un archivista experto que ha leído miles de contratos legales).
• La Tarea: Una vez que el "Cortador" separó el texto en trozos (cláusulas), este "Etiquetador" lee cada trozo y le pone una etiqueta.
  • ¿Habla de quién firma? -> Etiqueta: Partes.
  • ¿Habla de cuánto tiempo dura el secreto? -> Etiqueta: Duración.
  • ¿Habla de qué pasa si alguien rompe el acuerdo? -> Etiqueta: Responsabilidad.
• El Reto: A veces una cláusula tiene dos o tres temas a la vez (es un problema de "etiquetas múltiples"), y algunas etiquetas son muy raras (pocos ejemplos para aprender).
• El Resultado: El sistema acierta el 85% de las veces en general. Es como tener un archivista que, aunque a veces se confunde con los temas muy raros, es un genio con los temas comunes.

3. ¿Cómo midieron si funcionaba? (La Prueba de Fuego)

No solo dijeron "funciona". Usaron tres tipos de pruebas:

1. Similitud de palabras (ROUGE): ¿Se parece el texto cortado por el robot al texto original? (¡Sí, casi idéntico!).
2. Veracidad (Factual Correctness): ¿El robot inventó cosas o borró información importante? (¡No! Preservó los hechos al 95%).
3. Significado (Similitud Semántica): ¿El robot entendió el sentido de la frase, aunque usara palabras diferentes? (¡Sí, al 98%!).

4. El Obstáculo: La "Escasez de Recetas"

El mayor problema que tuvieron fue conseguir datos. Las empresas no quieren regalar sus contratos secretos. Por eso, tuvieron que pedir ayuda a expertos legales para etiquetar manualmente 322 documentos. Fue como intentar aprender a cocinar el mejor pastel del mundo, pero solo tienes 322 recetas para practicar, y algunas de ellas (las raras) solo las tienes una vez.

5. ¿Qué sigue? (El Futuro)

El sistema actual ya hace un gran trabajo separando y etiquetando. Pero el sueño de los autores es crear un "Abogado Robot Completo".
Imagina que en el futuro, este sistema no solo etiqueta, sino que también dice: "Oye, esta cláusula de 'Duración' es peligrosa porque contradice la de 'Responsabilidad', deberías cambiarla".

En Resumen

Este paper nos dice que ya no necesitamos leer contratos legales palabra por palabra con dolor de cabeza. Podemos usar una IA que primero "corta" el pastel en porciones perfectas y luego le pone la etiqueta correcta a cada porción. Aunque todavía tiene que mejorar un poco con los temas muy raros, es un paso gigante para que los abogados trabajen más rápido y cometan menos errores.

¡Es como tener un asistente legal que nunca duerme, nunca se distrae y lee contratos a la velocidad de la luz! 🚀⚖️

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Una Arquitectura de Dos Etapas para el Análisis de Acuerdos de No Divulgación (NDA): Segmentación basada en LLM y Clasificación de Cláusulas basada en Transformers

1. Planteamiento del Problema

En las relaciones comerciales entre empresas (B2B), los Acuerdos de No Divulgación (NDA) son fundamentales, pero su análisis manual presenta desafíos significativos debido a:

• Falta de estandarización: Los documentos varían enormemente en formato, estructura y estilo de redacción.
• Complejidad del lenguaje legal: La ambigüedad, los términos específicos del dominio y la variabilidad estructural dificultan el uso de sistemas basados en reglas tradicionales.
• Riesgo de error humano: El alto volumen y la urgencia en la revisión de contratos aumentan la probabilidad de errores y de pasar por alto inconsistencias legales.
• Limitaciones de los modelos actuales: Los modelos BERT estándar tienen dificultades para procesar documentos largos completos, mientras que los sistemas de recuperación tradicionales no manejan bien la complejidad semántica de las cláusulas.

2. Metodología

Los autores proponen una arquitectura de dos etapas implementada con LangGraph, diseñada para automatizar la segmentación y clasificación de cláusulas en NDAs.

• Etapa 1: Segmentación (Extracción de Cláusulas)

  • Modelo: Se utiliza LLaMA-3.1-8B-Instruct (un modelo de lenguaje grande o LLM).
  • Infraestructura: Se emplea vLLM para una inferencia eficiente, gestionando la memoria mediante PagedAttention y optimizando el uso de GPU (NVIDIA L40S).
  • Proceso: El modelo recibe el NDA completo y lo descompone en cláusulas individuales, independientemente del formato original (columnas simples/dobles, tablas, etc.).
  • Alineación: Para evaluar la segmentación, se utiliza el algoritmo Needleman-Wunsch (originalmente de alineación biológica) para alinear las cláusulas generadas con las de referencia, reduciendo la complejidad computacional de la comparación en un 92.5%.

• Etapa 2: Clasificación de Cláusulas

  • Modelo: Se utiliza un modelo Legal-RoBERTa-Base (variante legal de RoBERTa) ajustado (fine-tuned).
  • Tarea: Clasificación multietiqueta (una cláusula puede pertenecer a varias categorías). El dataset tiene 14 clases (ej. Identificación de partes, Tipo de NDA, Obligaciones de confidencialidad, Ley aplicable, etc.).
  • Desafío: El dataset presenta un desequilibrio de clases severo (la clase 14 representa ~48.9% de los datos).
  • Estrategias de Entrenamiento:
    • Uso de Focal Loss para mitigar el desequilibrio de clases.
    • División estratificada de datos (80% entrenamiento, 10% validación, 20% prueba).
    • Parámetros: 3 épocas, tasa de aprendizaje de 1e-5, sin dropout.

• Dataset: Se utilizó el conjunto de datos público Kleister-NDA (726 documentos), del cual se anotaron manualmente 322 NDAs (3,714 cláusulas) por tres especialistas legales.

3. Contribuciones Clave

1. Arquitectura Híbrida Eficiente: Combinación exitosa de un LLM (para comprensión de contexto largo y segmentación) y un modelo Transformer especializado (para clasificación precisa), superando las limitaciones de usar un solo tipo de modelo.
2. Método de Evaluación Innovador: Implementación del algoritmo Needleman-Wunsch para alinear cláusulas generadas vs. referenciales, resolviendo el problema de la comparación cuadrática ($O(N \times M)$) en documentos con estructuras variables.
3. Optimización de Recursos: Uso de vLLM para permitir inferencia rápida y escalable de LLMs en entornos de producción con gestión eficiente de memoria GPU.
4. Enfoque en Desbalanceo: Aplicación de técnicas específicas (Focal Loss) para abordar el desequilibrio de clases en la clasificación legal multietiqueta.

4. Resultados

• Segmentación (Componente Segmentador):

  • ROUGE F1: 0.95 ± 0.0036.
  • Precisión ROUGE: 0.99 (alta fidelidad al vocabulario de referencia).
  • Recall ROUGE: 0.91 (preservación de la mayoría de la información).
  • Exactitud Factual: 0.95 (la información esencial se conserva sin distorsiones).
  • Similitud Semántica: 0.98 (alta alineación en el significado).
  • Conclusión: El modelo identifica correctamente los límites de las cláusulas y preserva la integridad factual y semántica.

• Clasificación (Componente Clasificador):

  • F1 Ponderado (Weighted F1): 0.85 en el conjunto de prueba (muestra buen rendimiento global en clases mayoritarias).
  • F1 Macro: 0.69 (más bajo debido a la dificultad de generalizar en clases minoritarias con <100 muestras).
  • Pérdida de Hamming (Hamming Loss): 0.03 (baja tasa de error por etiqueta).
  • Coeficiente de Correlación de Matthews (MCC): 0.84 (fuerte correlación entre predicciones y etiquetas reales).
  • Conclusión: El modelo es altamente efectivo para las clases frecuentes, aunque el rendimiento en clases raras es un desafío debido a la escasez de datos.

5. Significado e Impacto

• Viabilidad de la Automatización Legal: Demuestra que es posible automatizar tareas complejas de revisión de contratos (NDA) con alta precisión, reduciendo la carga de trabajo manual y el riesgo de errores humanos.
• Escalabilidad: La arquitectura es extensible; está diseñada para integrar futuras capacidades de corrección y revisión de cláusulas, no solo detección.
• Superación de Barreras de Datos: A pesar de la dificultad de obtener NDAs anotados (por su naturaleza confidencial), el uso de datos públicos y anotación experta validó un enfoque robusto.
• Futuro: Los autores planean mejorar la clasificación de clases minoritarias mediante aumento de datos y generación de parafraseos, y desarrollar agentes especializados para la revisión y sugerencia de mejoras en los contratos.

En resumen, el trabajo presenta una solución técnica sólida que combina la potencia de los LLMs modernos con modelos especializados en el dominio legal, logrando un equilibrio entre la flexibilidad necesaria para manejar documentos no estandarizados y la precisión requerida en el análisis jurídico.