Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval

O artigo propõe um sistema de triagem jurídica determinístico e reprodutível, baseado em codificadores duplos e faixas de fuzzy calibradas, que equilibra a precisão de modelos de aprendizado de máquina com a transparência necessária para conformidade legal e auditoria em tarefas de classificação e recuperação de evidências.

O essencial

Imagine que você é um detetive particular, mas em vez de resolver crimes, você é responsável por verificar se milhares de contratos e e-mails de uma empresa estão seguindo as regras da lei (como leis de saúde ou segurança bancária).

O problema? Há muita papelada. E os advogados e auditores não podem ler tudo manualmente.

Aqui está a explicação do artigo, traduzida para uma linguagem simples, usando analogias do dia a dia:

1. O Problema: A "Caixa Preta" vs. O "Detetive Transparente"

Atualmente, muitas empresas usam Inteligência Artificial (IA) avançada (como os "chatbots" que você conhece) para ler esses contratos. O problema é que essas IAs são como caixas pretas mágicas: elas dão uma resposta, mas ninguém sabe exatamente como chegaram nela. Além disso, elas mudam de comportamento de um dia para o outro e não são 100% confiáveis para auditorias legais. Se um regulador perguntar "Por que a IA disse que este contrato está seguro?", a caixa preta não consegue explicar.

A solução deste artigo: Eles criaram um sistema mais simples, como um detetive com um caderno de anotações transparente.

• Em vez de uma "mágica" complexa, eles usam um modelo de IA chamado RoBERTa (um tipo de cérebro digital treinado para entender linguagem).
• A grande vantagem: se você rodar o mesmo teste hoje e amanhã, com os mesmos dados, o resultado será exatamente o mesmo. Isso é crucial para a lei, pois permite que qualquer auditor verifique o trabalho.

2. Como Funciona: O Sistema de "Semáforo" (Triagem Fuzzy)

A parte mais criativa do artigo é como eles decidem o que fazer com cada cláusula de contrato. Em vez de dizer apenas "Sim" ou "Não", o sistema usa um semáforo de três cores baseado em uma pontuação de confiança:

• 🟢 Verde (Auto-Compliance): O sistema diz: "Isso está claramente dentro das regras".
  • Ação: O computador aprova automaticamente. Nada precisa ser lido por um humano.
• 🔴 Vermelho (Auto-Não-Compliance): O sistema diz: "Isso claramente viola as regras".
  • Ação: O computador bloqueia automaticamente e avisa o humano.
• 🟡 Amarelo (Revisão Humana): O sistema diz: "Hmm, isso é meio ambíguo. Pode ser seguro, pode não ser. Eu não tenho certeza".
  • Ação: O sistema não toma a decisão. Ele joga esse caso na mesa de um advogado humano para ele decidir.

A analogia do Filtro de Café:
Pense no sistema como um filtro de café.

• A água limpa (Verde) passa direto para a xícara.
• O pó grosso (Vermelho) é retido e jogado fora.
• Mas o que acontece com as partículas meio finas, meio grossas (Amarelo)? Em vez de deixar elas passarem e estragarem o café (erro), ou de jogar tudo fora (perder informação), o sistema as coloca de lado para você olhar de perto.

3. O Desafio: Encontrar a Agulha no Palheiro

A maioria das cláusulas nos contratos é "inocente" (não viola nada). Apenas uma pequena fração (cerca de 0,6%) é realmente perigosa ou importante.

• É como procurar uma agulha em um palheiro.
• Se o sistema for muito cauteloso, ele vai deixar passar a agulha (erro grave).
• Se for muito agressivo, vai gritar "Agulha!" para cada palha (muito trabalho para os humanos).

O sistema deste artigo é treinado para ser um caçador de agulhas muito eficiente. Ele consegue encontrar quase todas as agulhas (alta precisão em detectar riscos), mesmo que às vezes ele ache que algumas palhas são agulhas (o que é melhor do que perder a agulha de verdade).

4. Por que isso é melhor que um "Robô Chat" comum?

O artigo argumenta que, para leis e auditorias, previsibilidade é mais importante que inteligência artificial complexa.

• O Robô Chat (LLM): É como um ator improvisando. Ele pode ser brilhante hoje e amador amanhã. É difícil provar em tribunal que ele não "alucinou" (inventou fatos).
• O Sistema do Artigo: É como um algoritmo de contagem. Você pode ver os números, os limites (os pontos de corte do semáforo) e os pesos. É chato, mas é justo, auditável e pode ser congelado no tempo para provar que a decisão foi tomada corretamente.

Resumo da Ópera

Os autores criaram uma ferramenta que:

1. Lê contratos e compara com as regras.
2. Classifica o que é óbvio (deixa o computador resolver) e o que é duvidoso (manda para um humano).
3. É transparente: Você sabe exatamente por que o computador tomou a decisão.
4. É reprodutível: Qualquer pessoa pode rodar o código e obter o mesmo resultado, o que é essencial para evitar multas e processos.

É basicamente a diferença entre confiar em um oráculo misterioso e confiar em um processo de verificação que você pode abrir, examinar e entender. Para quem lida com leis, isso é a diferença entre dormir tranquilo e ter um pesadelo jurídico.

Resumo técnico

Resumo Técnico: Triagem Fuzzy Determinística para Classificação de Conformidade Legal e Recuperação de Evidências

1. Problema e Motivação

Equipes de conformidade, risco e auditoria (GRC) enfrentam o desafio de analisar milhares de páginas de contratos, políticas e e-mails para justificar decisões regulatórias (ex: HIPAA, NERC-CIP).

• Limitações das Abordagens Atuais:
  • LLMs Opaques: Modelos de linguagem grandes (LLMs) combinados com RAG (Geração Aumentada por Recuperação) são frequentemente não determinísticos, propensos a alucinações e difíceis de auditar, pois não garantem que a mesma entrada produza a mesma saída em momentos diferentes.
  • Classificadores Binários Tradicionais: Abordagens existentes (como as baseadas em CUAD) geralmente fornecem apenas uma decisão binária (sim/não) sem níveis de confiança graduais ou mecanismos de "abstenção" (sinalizar para revisão humana).
  • Falta de Rastreabilidade: Em ambientes regulados, é crucial traçar a decisão de volta a cláusulas específicas e explicar o "porquê", algo que caixas-pretas não facilitam.

O objetivo deste trabalho é preencher essas lacunas criando um sistema que ofereça triagem explicável, rastreabilidade de evidências e determinismo, funcionando como uma ferramenta de apoio à decisão humana em vez de um substituto autônomo.

2. Metodologia

O sistema proposto combina um codificador duplo (dual encoder) determinístico com uma camada de triagem fuzzy (nebulosa) calibrada.

• Arquitetura do Modelo:

  • Backbone: Utiliza um RoBERTa-base como codificador duplo.
  • Projeção: As representações de consultas (regras de controle) e cláusulas são projetadas em um espaço vetorial de 512 dimensões.
  • Métrica de Similaridade: O escore base é calculado via similaridade de cosseno entre os vetores.
  • Treinamento Híbrido:
    1. Ranking Gradado (ACORD): O modelo é treinado no benchmark ACORD (dados de seguros) usando uma função de perda listwise para otimizar a recuperação de cláusulas com base em escores de relevância graduados (0 a 5).
    2. Classificação Binária (CUAD): O mesmo backbone é ajustado (fine-tuned) em um dataset derivado do CUAD para classificação binária de conformidade, lidando com um desequilíbrio extremo de classes (apenas ~0,6% de positivos).

• Mecanismo de Triagem Fuzzy:
  Em vez de um único limiar de corte, o sistema mapeia o escore de similaridade para três regiões distintas:

  1. Auto-Não Conformidade: Escore baixo ($s < \tau_{low}$).
  2. Revisão Humana: Escore intermediário ($\tau_{low} \le s \le \tau_{high}$).
  3. Auto-Conformidade: Escore alto ($s > \tau_{high}$).

  Os limiares ($\tau_{low}, \tau_{high}$) são ajustados na validação para maximizar a cobertura de decisões automáticas, sujeito a uma restrição rígida de erro empírico (máximo de 2% de erro nas decisões automáticas).

• Determinismo:
  Todo o pipeline é executado com sementes aleatórias fixas (40-44) em uma única GPU NVIDIA A100. Isso garante que, dados os mesmos contratos e configurações, o sistema produza sempre os mesmos escores e decisões, facilitando a auditoria legal.

3. Principais Contribuições

1. Baseline Reprodutível: Um modelo simples de codificador duplo que supera baselines de maioria e aleatórios em tarefas de recuperação e classificação legal.
2. Interface de Triagem Explicável: A introdução de uma "cabeça fuzzy" que expõe trade-offs claros entre cobertura e erro, permitindo que auditores definam quanto risco residual é aceitável para automação.
3. Alinhamento Regulatório: O sistema foi projetado para mapear diretamente conceitos legais (como controle de acesso e risco residual) em faixas de decisão, atendendo a requisitos de frameworks como HIPAA e NERC-CIP.
4. Alternativa Auditável a LLMs: Demonstra que modelos menores e determinísticos podem oferecer desempenho útil com uma superfície de parâmetros muito mais transparente e auditável do que LLMs proprietários.

4. Resultados Experimentais

Os resultados foram obtidos com 5 sementes aleatórias em uma GPU A100:

• Recuperação (ACORD):

  • NDCG@5: ~0,38 – 0,42.
  • NDCG@10: ~0,45 – 0,50.
  • Precisão 4-estrelas@5: ~0,37.
  • Nota: O modelo consegue recuperar cláusulas relevantes de forma graduada, essencial para encontrar evidências de suporte.

• Classificação Binária (CUAD):

  • AUC: ~0,98 – 0,99 (superior a baselines).
  • F1 Score: ~0,22 – 0,30 (dependendo do peso da classe positiva).
  • Recall: Atingiu ~0,98 com peso positivo alto (w=200), ideal para cenários de "peneira" onde é crucial não perder nenhuma cláusula de risco, mesmo que isso reduza a precisão.

• Desempenho da Triagem Fuzzy:

  • O sistema consegue automatizar 96% a 98% das decisões.
  • O erro nas decisões automáticas é mantido rigorosamente abaixo de 2% (ou 0% em algumas configurações de validação), enquanto as cláusulas ambíguas são roteadas para revisão humana.

5. Significado e Conclusão

O artigo defende uma tese pragmática: para conformidade legal de alto risco, simplicidade e determinismo superam a complexidade opaca.

• Defensibilidade Legal: Ao contrário de LLMs que mudam com atualizações de API ou amostragem estocástica, este sistema permite que reguladores e peritos repliquem exatamente o pipeline e verifiquem os parâmetros escalares que governam o comportamento.
• Gestão de Risco Residual: A triagem fuzzy fornece uma alavanca concreta para gerenciar o risco residual. As faixas de "auto" representam controles bem suportados ou claramente ausentes, enquanto a faixa de "revisão" concentra a incerteza para intervenção humana qualificada.
• Viabilidade Operacional: O modelo é leve o suficiente para ser treinado em uma única GPU e oferece um equilíbrio prático entre regras manuais (lentas) e LLMs (inseguros), sendo uma base sólida para sistemas de "Sistema Operacional de Evidências" (Evidence OS).

Em suma, o trabalho propõe um caminho viável para a adoção de IA em ambientes regulados, focando em auditabilidade, reprodutibilidade e controle humano sobre decisões críticas, em vez de apenas maximizar a precisão bruta de modelos de caixa-preta.