Cross-Domain Data Selection and Augmentation for Automatic Compliance Detection

Título: Selección y Aumento de Datos de Dominio Cruzado para la Detección Automática de Cumplimiento Normativo

1. Problema

La automatización de la detección de cumplimiento normativo (compliance) es una tarea crítica pero extremadamente desafiante debido a la complejidad, variabilidad y ambigüedad de los textos legales.

• Limitación de Generalización: Los modelos entrenados en un marco regulatorio específico (ej. GDPR) suelen fallar al generalizar a otros dominios (ej. HIPAA en el sector salud) debido a diferencias en terminología, estructura, intención y estilo de razonamiento.
• Escasez de Datos: Los conjuntos de datos anotados para cumplimiento son costosos de crear y de tamaño limitado, lo que restringe el rendimiento de los modelos.
• Transferencia Negativa: Una solución natural es aumentar los datos escasos con información de dominios relacionados. Sin embargo, la adición indiscriminada de datos de un dominio fuente puede provocar transferencia negativa, donde el rendimiento del modelo se degrada en lugar de mejorar debido a la introducción de muestras mal alineadas o ruidosas.

2. Metodología

El estudio enmarca la detección de cumplimiento como una tarea de Inferencia en Lenguaje Natural (NLI), donde los requisitos regulatorios son la premisa y las cláusulas contractuales o políticas son la hipótesis. El objetivo es determinar si la hipótesis se deriva (entailment) de la premisa.

Para abordar la transferencia negativa, los autores evaluaron cuatro estrategias de selección de datos para aumentar el conjunto de entrenamiento del dominio objetivo (HIPAA) utilizando datos del dominio fuente (GDPR-DPA):

1. Muestreo Aleatorio (Baseline): Selección aleatoria de datos del dominio fuente.
2. Filtrado por Diferencia de Entropía Cruzada (Moore-Lewis): Utiliza dos modelos de lenguaje (uno en el dominio fuente y otro en el objetivo) para calcular la diferencia de entropía cruzada. Se seleccionan las muestras con la menor diferencia, indicando mayor alineación con la distribución objetivo.
3. Ponderación por Importancia (Importance Weighting): Estima la densidad de probabilidad de una instancia del dominio fuente bajo la distribución objetivo utilizando un clasificador de regresión logística (entrenado con RoBERTa-large) para distinguir entre fuentes y objetivos. Las muestras se re-pesan o filtran según esta razón de densidad.
4. Recuperación Basada en Embeddings (DSIR): Codifica ejemplos de ambos dominios usando modelos preentrenados (como BERT) y recupera las muestras del dominio fuente más cercanas en el espacio de embeddings (similitud coseno) para cada instancia objetivo.

Configuración Experimental:

• Dominios: Fuente (GDPR-DPA) y Objetivo (HIPAA).
• Modelos: Se evaluaron modelos codificadores (BERT-large, RoBERTa-large, Legal-BERT) y modelos generadores (GPT-2-XL, Llama-3) en configuraciones fine-tuned, zero-shot y one-shot.
• Escenarios: Se varió la proporción de datos seleccionados del dominio fuente (de 1% a 90%) para analizar los efectos de escala y la aparición de transferencia negativa.

3. Contribuciones Clave

• Estudio Sistemático: Es uno de los primeros trabajos que investiga sistemáticamente la selección de datos de dominio cruzado específicamente para la automatización del cumplimiento normativo.
• Evaluación Comparativa: Compara estrategias basadas en aleatoriedad, entropía cruzada, densidad y similitud semántica, demostrando que la selección dirigida es superior al aumento masivo sin filtro.
• Análisis de Escala: Identifica puntos críticos donde la transferencia negativa ocurre (generalmente en proporciones intermedias de datos, 10-20%) y cómo una selección cuidadosa mitiga este efecto.
• Recurso Abierto: Los autores han hecho público el código y los datos preprocesados para fomentar la reproducibilidad.

4. Resultados

• Rendimiento In-Domain vs. Cross-Domain: Los modelos fine-tuned (especialmente Legal-BERT) superaron significativamente a los modelos generativos zero-shot/one-shot. Sin embargo, incluso los modelos fine-tuned mostraron una brecha de rendimiento significativa al pasar de GDPR a HIPAA sin aumento de datos.
• Efectividad de la Selección:
  • Ponderación por Importancia: Logró el pico de rendimiento más alto (F1 ~0.97 en validación con 5% de datos), pero mostró inestabilidad y caída drástica al aumentar la proporción de datos (transferencia negativa).
  • Similitud de Embeddings: Fue la estrategia más robusta y estable, manteniendo un alto rendimiento (F1 ~0.90) tanto en proporciones muy bajas (1%) como altas (75%), minimizando el riesgo de sobreajuste a patrones superficiales.
  • Moore-Lewis: Ofreció un rendimiento consistente y competitivo, aunque sin picos tan altos como la ponderación por importancia.
  • Muestreo Aleatorio: Siempre rindió peor que los métodos dirigidos, confirmando que no todos los datos son útiles.
• Análisis de Transferencia Negativa: Se observó que aumentar la proporción de datos seleccionados más allá de un umbral óptimo (ej. 10-20%) introdujo ruido. Las muestras de rango medio (10-20%) a menudo coincidían en léxico genérico (plantillas legales) pero no en significado semántico específico, lo que degradó el modelo. Las mejores selecciones (top 5-10%) capturaban conceptos de seguridad operativa reales (ej. "cierre de sesión" vs. "autenticación").

5. Significado e Impacto

Este trabajo demuestra que la selección de datos dirigida es fundamental para la automatización escalable y confiable del cumplimiento normativo.

• Eficiencia: No es necesario utilizar grandes volúmenes de datos de dominio fuente; pequeños subconjuntos cuidadosamente seleccionados (1-5%) pueden igualar o superar el rendimiento de conjuntos de datos más grandes y no filtrados.
• Mitigación de Riesgos: Proporciona un marco práctico para evitar la transferencia negativa, un problema crítico en dominios de alta responsabilidad como la salud y la privacidad de datos.
• Dirección Futura: Sugiere que el futuro de la automatización del cumplimiento debe centrarse en la "aumentación controlada" (usando parafraseo o generación estructurada) y en la mejora de la fidelidad de las explicaciones de los modelos, más allá de la simple clasificación.

En conclusión, el estudio valida que la transferencia entre dominios regulatorios es viable y beneficiosa, siempre que se utilicen estrategias de selección de datos basadas en principios (como la ponderación por importancia o la similitud semántica) para filtrar el ruido y alinear las distribuciones de los dominios.