Resumo Técnico: Recuperação de Fechamento de Citação e Atribuição por Regra para Resposta a Perguntas sobre Conformidade Regulatória no Mundo Real

Definição do Problema

A implantação de Modelos de Linguagem de Grande Porte (LLMs) para conformidade regulatória enfrenta um gargalo crítico: a exigência de rastreabilidade rigorosa através de estruturas de autoridade multinível. Diferentemente da Resposta a Perguntas (QA) multihop tradicional, que foca na resolução de entidades, ou da QA legal padrão centrada no raciocínio baseado em jurisprudência, a QA de Conformidade Regulatória exige consultas procedimentais estruturadas e fechamento de conjunto de evidências.

Os sistemas atuais de Geração Aumentada por Recuperação (RAG) falham neste domínio devido a três limitações primárias:

1. Bordas de Citação Achatadas: Abordagens de RAG baseadas em grafos frequentemente reduzem citações regulatórias explícitas a arestas genéricas de relação-entidade, removendo as distinções semânticas necessárias para navegar em delegações hierárquicas (por exemplo, de estatutos a decretos de aplicação até manuais operacionais).
2. Recuperação Fragmentada: Técnicas de decomposição ou expansão de consultas frequentemente produzem subconsultas desconexas que falham em unificar o conjunto de evidências necessário, levando a fechamentos procedimentais incompletos.
3. Atribuição Pós-Hoc Frágil: Modelos generativos tratam tipicamente as citações como rodapés de forma livre anexados após a geração. Esta abordagem "pós-hoc" carece de vinculação estrutural entre alegações e fontes, levando a alucinações sistêmicas de atribuição onde modelos citam regras incorretas ou fabricam disposições legais.

Metodologia

Para abordar esses desafios, os autores introduzem o RegOps-Bench e o framework RefWalk.

1. RegOps-Bench: Um Novo Benchmark

O RegOps-Bench é um framework de avaliação projetado para testar a navegação procedimental multinível. Ele é instanciado por meio de um corpo regulatório nacional de P&D da Coreia do Sul compreendendo 12 documentos que abrangem cinco níveis de autoridade (de Estatutos até Manuais Operacionais).

• Grafo de Conhecimento Operacional (OKG): O corpus é modelado em um OKG onde os nós representam artigos e as arestas são tipificadas em seis classes específicas (por exemplo, DELEGA_PARA, ESPECIFICA, REFERENCIA). Esta construção determinística do grafo evita alucinações generativas inerentes à indexação baseada em LLM.
• Construção Desacoplada por Eixos: O benchmark gera 250 pares de QA desacoplando o Tipo de Pergunta (intenção substantiva) do Nível de Dificuldade (complexidade estrutural do conjunto de referência). Isso permite o controle independente da complexidade da lógica procedimental (variando de consultas de salto único a travessias condicionais multihop entre documentos) sem confundir a formulação superficial.
• Verdade Terrena: As respostas são definidas por um "fechamento de citação tipificada", exigindo a recuperação exaustiva de todos os artigos governantes e o mapeamento preciso de alegações para parágrafos específicos de regras.

2. RefWalk: O Framework Proposto

O RefWalk é um framework RAG unificado impulsionado por uma âncora de tópico compartilhada que se propaga através da recuperação e geração.

• Recuperação Multivista Ancorada em Tópico:

  • Um LLM congelado extrai uma Âncora de Tópico estruturada (tópico, ator, temporal, magnitude, contexto situacional) da consulta.
  • Três vistas de recuperação distintas são construídas a partir desta âncora:
    • q_narrow: Usa a pergunta original para correspondência semântica densa de detalhes explícitos.
    • q_wide: Abandona a pergunta bruta, confiando apenas em tópicos e condições abstraídos para capturar referências estruturais multihop.
    • q_mid: Uma combinação de ambas.
  • Expansão OKG: O pool inicial de candidatos é expandido um salto ao longo de arestas portadoras de citação no OKG.
  • Fusão RRM: Em vez da agregação padrão baseada em soma (como RRF), o RefWalk utiliza Reciprocal Rank MAX (RRM). Isso preserva o sinal mais forte de qualquer vista "especialista" única (por exemplo, q_wide para links estruturais) sem diluí-lo, garantindo que candidatos altamente classificados por uma vista específica mantenham prioridade.

• Esquema de Atribuição por Regra:

  • Para eliminar alucinações de atribuição, o RefWalk impõe uma vinculação ao nível de esquema estrita durante a geração.
  • O modelo é restrito a gerar alegações exclusivamente como valores de array vinculados a chaves rule_id específicas em um esquema JSON.
  • Isso impede que o modelo gere texto de forma livre e anexe citações retroativamente. Em vez disso, as alegações são estruturalmente forçadas a ser atributos de suas regras governantes, garantindo que toda alegação gerada seja inerentemente vinculada à sua fonte.

Contribuições Principais

1. Formalização da QA de Conformidade Regulatória: O artigo formaliza a tarefa como um problema de travessia determinística de hierarquias regulatórias multiníveis, distinta da QA multihop padrão ou QA legal.
2. RegOps-Bench: O lançamento do primeiro benchmark especificamente projetado para avaliar a navegação procedimental multinível, apresentando um Grafo de Conhecimento Operacional e níveis de dificuldade desacoplados por eixos.
3. Framework RefWalk: Uma arquitetura RAG inovadora que unifica a travessia OKG com atribuição por regra. Introduz fusão RRM para preservar sinais especialistas e geração restrita por esquema para impor rastreabilidade.
4. Validação Empírica: O framework demonstra melhorias significativas em relação a baselines de última geração (incluindo LightRAG, HippoRAG-2 e PIKE-RAG) tanto no recall de recuperação quanto na precisão de citação, particularmente em tarefas complexas de referência cruzada.

Resultados

Os experimentos foram conduzidos no RegOps-Bench e em um conjunto de dados derivado HIPAA (conformidade de saúde dos EUA).

• Desempenho de Recuperação: O RefWalk alcançou resultados de última geração no RegOps-Bench, com os ganhos mais substanciais em FullCov@10 (a fração de consultas onde o conjunto inteiro de referência da verdade terrena é recuperado). Enquanto métodos de recuperação baselines saturaram no conjunto de dados HIPAA de estrutura plana, eles colapsaram nas tarefas RegOps de referência cruzada complexa, ao passo que o RefWalk manteve desempenho robusto.
• Geração End-to-End: O RefWalk superou significativamente as baselines em F1 de Citação. O estudo de ablação ("w/o schema") revelou que a remoção do esquema de atribuição por regra causou uma queda acentuada na precisão de citação, confirmando que a restrição de esquema é o principal motor para mitigar alucinações de atribuição.
• Estratificação de Dificuldade: A análise de desempenho mostrou que, enquanto todos os modelos tiveram sucesso em consultas de âncora única (L1), a recuperação baseline falhou significativamente nos níveis L3 (multihop/cross-doc) e L4 (multihop condicional). O RefWalk demonstrou melhorias relativas significativas no F1 de Citação através dessas camadas complexas.
• Análise de Mecanismo: O uso de fusão RRM mostrou-se crítico; agregações padrão baseadas em soma (RRF) diluíram os sinais estruturais necessários para referências complexas entre documentos, levando à degradação de desempenho em níveis de dificuldade mais altos.

Significado e Alegações

O artigo argumenta que a IA de conformidade regulatória exige uma mudança de paradigma da geração ampla de respostas para atribuição verificável e vinculada à estrutura. Os autores afirmam que:

• Os sistemas RAG existentes são insuficientes para ecossistemas regulatórios do mundo real devido à sua incapacidade de navegar em redes complexas de delegação multinível e à sua dependência de citação pós-hoc.
• O framework RefWalk mitiga com sucesso essas vulnerabilidades ao impor vinculação estrutural entre alegações e fontes, fornecendo uma base robusta para implantar IA rastreável em domínios de alto risco.
• O RegOps-Bench é necessário para testar sistemas além de benchmarks de estrutura plana, revelando saturação em métodos atuais que, de outra forma, passariam despercebida.

Os autores reconhecem uma compensação entre precisão e recall inerente às suas restrições de esquema conservadoras, notando que, embora isso garanta alta precisão de citação (crítica para conformidade), pode sacrificar algum recall em comparação com baselines de "citação ávida". Eles também observam que a construção determinística do OKG depende dos padrões de citação formulaicos do corpus regulatório específico utilizado, apresentando um desafio para a escalabilidade para jurisdições menos estruturadas sem pipelines de extração híbrida.