Cross-Domain Data Selection and Augmentation for Automatic Compliance Detection

1. Problema e Contexto

A detecção automática de conformidade regulatória (ex: GDPR, HIPAA) é uma tarefa crítica, mas desafiadora, devido à complexidade, variabilidade e escassez de dados anotados em textos jurídicos.

• Desafio Principal: Modelos treinados em um domínio regulatório específico (ex: GDPR) frequentemente falham ao generalizar para outros domínios (ex: HIPAA) devido a diferenças em terminologia, estrutura e intenção legal.
• Transferência Negativa: A simples adição de dados de um domínio fonte para treinar um modelo de um domínio alvo pode levar à transferência negativa, onde o desempenho do modelo piora em vez de melhorar, devido à introdução de ruído e amostras mal alinhadas.
• Objetivo: Investigar estratégias de seleção de dados para mitigar a transferência negativa, permitindo o uso eficaz de dados de um domínio fonte abundante para melhorar a detecção de conformidade em um domínio alvo com poucos dados.

2. Metodologia

O estudo formula a detecção de conformidade como uma tarefa de Inferência em Linguagem Natural (NLI), onde os requisitos regulatórios são tratados como premissas e as cláusulas contratuais (ou declarações de políticas) como hipóteses. O modelo deve classificar a relação entre eles como "entailment" (conformidade), "contradiction" ou "neutral".

Estratégias de Seleção de Dados Avaliadas:
Os autores compararam quatro abordagens para selecionar um subconjunto de dados do domínio fonte (GDPR-DPA) para augmentar o treinamento no domínio alvo (HIPAA):

1. Amostragem Aleatória (Baseline): Seleção aleatória de dados fonte.
2. Filtragem por Diferença de Entropia Cruzada (Moore-Lewis): Utiliza modelos de linguagem pré-treinados para calcular a diferença de entropia cruzada entre os domínios fonte e alvo, selecionando amostras com menor diferença (maior similaridade de distribuição).
3. Ponderação por Importância (Importance Weighting): Estima a razão de densidade entre as distribuições alvo e fonte ($p_{target}(x) / p_{source}(x)$) usando um classificador de regressão logística. As amostras são re-pesadas ou filtradas com base nessa probabilidade.
4. Recuperação Baseada em Embeddings (DSIR): Codifica exemplos fonte e alvo usando modelos pré-treinados (ex: BERT, RoBERTa) e recupera os vizinhos mais próximos no espaço vetorial com base na similaridade de cosseno.

Configuração Experimental:

• Domínio Fonte: GDPR-DPA (362k instâncias de treinamento).
• Domínio Alvo: HIPAA (394 instâncias de treinamento).
• Modelos: BERT-large, RoBERTa-large, Legal-BERT e LLMs generativos (GPT-2, Llama-3) para zero-shot e one-shot.
• Variável Controlada: A proporção de dados fonte selecionados variou de 1% a 90% para analisar os efeitos de escala.

3. Contribuições Principais

1. Estudo Sistemático de Seleção Transversal: Investigação detalhada do impacto da augmentação de dados de domínio fonte na tarefa de detecção de conformidade (GDPR $\to$ HIPAA).
2. Avaliação Comparativa de Estratégias: Comparação de métodos baseados em distribuição (Moore-Lewis), densidade (Importance Weighting) e semântica (Embeddings) contra baselines aleatórios e de augmentação total.
3. Análise de Efeitos de Escala: Demonstração de como a proporção de dados selecionados afeta o desempenho, identificando pontos de inflexão onde a transferência negativa ocorre.
4. Insights Empíricos: Evidência de que a seleção direcionada é superior à simples adição de volume de dados, oferecendo um caminho para automação escalável e confiável.

4. Resultados Chave

• Desempenho em Domínio Único vs. Cruzado: Modelos fine-tuned (especialmente Legal-BERT) performaram bem no domínio fonte (F1 ~0.86), mas degradaram significativamente no domínio alvo sem augmentação (F1 ~0.56), confirmando a dificuldade de generalização.
• Eficácia da Seleção:
  • Importance Weighting: Alcançou o pico de desempenho mais alto (F1 de 0.97 no conjunto de validação com 5% dos dados), mas mostrou instabilidade e queda acentuada em proporções intermediárias (10-20%), indicando sensibilidade a ruído.
  • Embedding Similarity: Ofereceu ganhos robustos e consistentes, com bom desempenho tanto em baixas (1%) quanto em altas (75%) proporções, demonstrando menor risco de overfitting a amostras não alinhadas.
  • Moore-Lewis: Mostrou-se estável e competitivo em todas as proporções, embora sem picos extremos.
• Detecção de Transferência Negativa: Houve uma queda clara de desempenho nas proporções intermediárias (10-20%) para a maioria dos métodos, indicando que a adição de dados "parcialmente alinhados" introduz ruído. O desempenho tende a recuperar em proporções muito altas (75%+), possivelmente devido à dominância de um pool de dados mais representativo.
• Análise de Casos: A análise qualitativa revelou que os dados de melhor classificação (top 5-10%) capturam alinhamento semântico genuíno (ex: "sessão inativa" vs. "logoff automático"), enquanto dados de classificação inferior (10-20%) tendem a alinhar-se apenas em padrões léxicos genéricos (ex: "pode incluir, mas não se limita a"), sem relevância semântica específica.

5. Significado e Conclusão

O trabalho conclui que a seleção de dados é fundamental para o sucesso da transferência de aprendizado em conformidade regulatória.

• Qualidade > Quantidade: Pequenos subconjuntos cuidadosamente selecionados de dados fonte são frequentemente superiores a grandes volumes de dados não filtrados.
• Estratégias Recomendadas: A Ponderação por Importância e o Moore-Lewis emergiram como as estratégias mais eficazes para mitigar a transferência negativa, superando significativamente a amostragem aleatória.
• Implicações Práticas: Para organizações que buscam automatizar a conformidade em múltiplos domínios regulatórios, a implementação de filtros de seleção de dados baseados em densidade ou similaridade semântica é essencial para evitar a degradação de modelos e garantir previsões confiáveis.

O estudo destaca que, embora a augmentação de dados seja promissora, ela deve ser feita de forma "principiada" (principled), monitorando a divergência entre sobreposição léxica e alinhamento funcional para evitar a introdução de viés superficial.