Resumo Técnico: CTRAG – Um Framework de Recuperação Baseado em Contexto para Verificação Automatizada de Conformidade

Definição do Problema

A verificação de conformidade regulatória é um processo crítico, porém laborioso, para organizações que operam em ambientes altamente controlados (ex: finanças, cibersegurança, privacidade de dados). As auditorias de conformidade tradicionais dependem de revisões manuais onde revisores humanos analisam vastos volumes de documentação não estruturada da empresa para verificar a adesão aos controles regulatórios. Esta abordagem é propensa a inconsistências devido às variações de interpretação da linguagem regulatória e é ineficiente, particularmente ao avaliar a conformidade indireta por meio de serviços de terceiros (ex: provedores de nuvem). Embora a Geração Aumentada de Recuperação (RAG) ofereça um caminho promissor para a automação, as soluções existentes frequentemente lutam com a ambiguidade dos textos regulatórios, a complexidade da evidência não estruturada e o problema da "agulha no palheiro", onde informações relevantes estão enterradas em grandes documentos. Além disso, os pipelines de RAG padrão muitas vezes falham em capturar a lógica de tomada de decisão matizada necessária para cenários de conformidade indireta.

Metodologia: O Framework CTRAG

Os autores propõem o CTRAG, um novo pipeline de RAG especificamente adaptado para a verificação de conformidade automatizada. O framework trata a verificação de conformidade como uma tarefa de Questionamento e Resposta (QA), onde os controles regulatórios são convertidos em perguntas específicas a serem respondidas através do cruzamento com documentos da empresa. O pipeline consiste em várias etapas otimizadas:

1. Ingestão e Fragmentação de Documentos (Chunking):

   • O sistema processa documentos PDF não estruturados (políticas, procedimentos, relatórios).
   • Ele emprega duas estratégias primárias de fragmentação:
     • Fragmentação de Tamanho Fixo: Testada em vários comprimentos de caracteres (200, 800, 1600, 3000) usando RecursiveCharacterTextSplitter.
     • Meta-Fragmentação (Meta-Chunking): Uma abordagem de segmentação lógica que agrupa sentenças baseadas em conexões lógicas compartilhadas (causais, de transição) em vez de limites fixos, para preservar a coerência semântica.
   • Experimentos determinaram que fragmentos menores (especificamente 800 caracteres) frequentemente superaram os maiores ao reduzir o ruído e evitar a diluição do contexto relevante.

2. Configuração de Recuperação:

   • O sistema utiliza embeddings vetoriais (OpenAI text-embedding-3-large e ada-002) armazenados no FAISS para recuperação eficiente.
   • Uma variável chave é o parâmetro top-k (número de fragmentos recuperados). O estudo descobriu que uma profundidade de recuperação de K=4 proporcionou o equilíbrio ideal entre completude contextual e ruído de recuperação.
   • O sistema utiliza uma abordagem de recuperação que equilibra o contexto regulatório global com detalhes factuais granulares, ajustando o número de documentos recuperados.

3. Geração de Resposta e Aprendizado em Contexto (ICL):

   • O pipeline utiliza as cadeias stuff e map_reduce do LangChain RetrievalQA.
   • Aprendizado em Contexto (ICL): Para abordar a dificuldade do modelo em interpretar a conformidade indireta (ex: um fornecedor que depende de um serviço de terceiro em conformidade), o sistema integra exemplos curados no prompt. Esses exemplos guiam o Large Language Model (LLM) para mimetizar a tomada de decisão de anotadores humanos, distinguindo especificamente entre não conformidade direta e situações onde a evidência está ausente ou é indireta.
   • Reclassificação de Pós-Processamento: Uma heurística crítica foi aplicada onde classificações de "Sem Evidência" (onde o modelo não conseguiu encontrar texto de suporte) foram reclassificadas como "Não Conforme". Esta abordagem conservadora assume que, se um documento não contém evidência de conformidade, o controle provavelmente falhou, o que aumenta significativamente o recall.

4. Configuração de Avaliação:

   • O framework foi testado em um conjunto de dados proprietário composto por 45 documentos PDF e 240 controles regulatórios (perguntas com rótulos de "Pass" ou "Fail" de verdade fundamental) derivados de diretrizes regulatórias de um conjunto de dados curado de um ambiente corporativo.
   • O conjunto de dados foi usado exclusivamente para teste (sem treinamento), garantindo uma avaliação rigorosa das capacidades de recuperação e geração.
   • Múltiplos LLMs foram avaliados, incluindo GPT-4, GPT-4o, GPT-3.5 Turbo, Gemini-Flash e Gemini-Pro.

Principais Resultados

Avaliações empíricas demonstraram que o CTRAG melhora significativamente as abordagens automatizadas de base:

• Métricas de Desempenho: Na configuração final implantada (GPT-4 com fragmentos pequenos, K=4 e ICL), o sistema alcançou um F1-score de 78% e um Recall de 85%.
• Impacto da Fragmentação (Chunking): Fragmentos menores (800 caracteres) superaram consistentemente os maiores (1600, 3000) e a Meta-fragmentação. Fragmentos maiores introduziram ruído excessivo, dificultando a localização de evidências específicas pelos modelos (efeito "agulha no palheiro"). A Meta-fragmentação, embora logicamente sólida, incorreu em tempos de pré-processamento proibitivos.
• Impacto do ICL: O aprendizado em contexto foi crucial para lidar com cenários complexos, particularmente a conformidade indireta. Ele ajudou o modelo a alinhar-se com o julgamento humano em casos onde fornecedores dependiam de serviços de terceiros, reduzindo a taxa de falsos negativos na classe "Não Conforme".
• Eficiência: A reclassificação de "Sem Evidência" para "Não Conforme" permitiu capturar casos de falha perdidos sem a necessidade de um ajuste fino (fine-tuning) caro do modelo.
• Implantação no Mundo Real: Uma Prova de Conceito (POC) foi implantada dentro de uma empresa de serviços profissionais do "Big Four". Os resultados indicaram uma redução aproximada de 60% no esforço do revisor manual em comparação com os processos manuais existentes, mantendo uma alta precisão na identificação de não conformidades.

Principais Contribuições

O artigo delineia cinco contribuições primárias:

1. Pipeline de RAG Especializado: Introdução de um framework de RAG projetado especificamente para conformidade regulatória, integrando a extração de controles de textos regulatórios com documentos de clientes não estruturados.
2. Benchmarking Sistemático: Experimentação extensiva sobre estratégias de fragmentação e profundidades de recuperação (valores de K) para determinar configurações ideais para tarefas de conformidade, fornecendo insights para a comunidade de pesquisa.
3. Estratégias Adaptativas: Implementação de extração robusta de PDF, fragmentação personalizada (favorecendo segmentos menores e ricos em contexto) e mecanismos de extração de contexto para aumentar a precisão da recuperação.
4. Otimização de Recuperação: Um sistema que define valores de K de recuperação para equilibrar o contexto global com detalhes granulares, garantindo que documentos relevantes impulsionem a geração de respostas.
5. Integração de Aprendizado em Contexto (ICL): O uso de exemplos cuidadosamente selecionados para refinar a tomada de decisão do LLM, abordando especificamente as nuances da conformidade indireta e alinhando as saídas do modelo com a lógica do anotador humano.

Significância e Alegações

Os autores alegam que o CTRAG oferece um caminho viável para agilizar fluxos de trabalho de conformidade em ambientes de alto risco. Ao automatizar a recuperação e a avaliação de evidências de conformidade, o framework reduz o tempo e o custo associados a auditorias manuais, mitigando simultaneamente os riscos de inconsistência humana.

O artigo enfatiza que a qualidade da recuperação e a granularidade da evidência são mais críticas do que o aumento do tamanho do contexto para a análise de documentos orientada à conformidade. O estudo destaca que, embora os LLMs tenham avançado na compreensão de linguagem, sua aplicação em contextos regulatórios requer uma orquestração cuidadosa dos parâmetros de recuperação e do aprendizado em contexto para lidar com ambiguidades e cenários de conformidade indireta de forma eficaz.

Os autores mantêm a modéstia quanto à generalização de seus achados, observando que a avaliação foi baseada no conjunto de dados de uma única organização (240 controles, 45 documentos) e que o acordo entre anotadores não foi medido. Eles reconhecem que a reclassificação de "Sem Evidência" para "Não Conforme" troca precisão por recall. Trabalhos futuros são propostos para abordar essas limitações, realizar testes de significância estatística e explorar variantes de fragmentação semântica. No entanto, o sucesso da implantação da POC sugere que a abordagem é escalável e aplicável a tarefas adjacentes, como análise de lacunas de políticas e revisão de contratos.