Resumo Técnico: RH-RAG para Geração de Longo Formato Confiável em Ambientes com Restrições de Privacidade

Declaração do Problema

Organizações em setores sensíveis (saúde, finanças, jurídico) enfrentam um gargalo crítico: a incapacidade de utilizar Modelos de Linguagem de Grande Escala (LLMs) para gerar conteúdo de longo formato a partir de relatórios internos confidenciais devido a rigorosas restrições de privacidade que proíbem o envio de dados para APIs proprietárias na nuvem. Embora modelos de pesos abertos implantados localmente (por exemplo, 7B–8B de parâmetros) ofereçam uma alternativa de preservação de privacidade, eles sofrem de três modos principais de falha durante a geração de longo formato:

1. Alucinação Factual: Alegações não sustentadas acumulam-se ao longo de saídas estendidas.
2. Saturação de Contexto: A fidelidade da recuperação degrada conforme a janela de contexto cresce, fazendo com que os modelos foquem em padrões superficiais em vez de integrar evidências relevantes.
3. Deriva Estrutural: A ausência de planejamento global leva à perda de coerência entre seções e continuidade narrativa.

Pipelines de Recuperação Aumentada por Geração (RAG) existentes mitigam parcialmente as alucinações, mas carecem de mecanismos de planejamento global e degradam a continuidade narrativa em documentos extensos. Além disso, estratégias de geração de múltiplos passos propostas na literatura são frequentemente projetadas para implantação na nuvem ou carecem de mecanismos determinísticos de verificação factual adequados para ambientes locais com restrições de privacidade.

Metodologia: O Framework RH-RAG

O RH-RAG é um framework multiagente projetado para replicar o fluxo de trabalho de escrita humana (planejar, redigir, verificar) utilizando modelos de pesos abertos implantados localmente. Ele opera inteiramente dentro de ambientes locais privados em hardware de nível de consumo (ex: GPUs NVIDIA T4). O framework consiste em três estágios sequenciais gerenciados por agentes dedicados:

1. Fragmentação de Documentos em Dois Níveis

Para equilibrar a compreensão do contexto global com a recuperação factual precisa, os documentos são indexados em duas granularidades complementares:

• Nível-1 (Resumos de Roteamento): Os documentos são divididos em segmentos grandes (20k–30k tokens). Um resumo conciso é gerado para cada segmento usando um modelo Mistral-7B ajustado (fine-tuned). Esses resumos formam uma camada de roteamento semântico leve usada exclusivamente durante a fase de planejamento para identificar regiões relevantes do documento sem carregar o corpus completo.
• Nível-2 (Fragmentos de Evidência): Passagens de granularidade fina preservam o texto original para fundamentação factual. Elas são codificadas usando o modelo de embedding bge-base-en-v1.5 para recuperação semântica densa.

2. Pipeline de Geração Multiagente

• Agente Planejador (Planner Agent): Antes da geração de texto, este agente consulta o índice de Nível-1 para construir um esboço global estruturado. Crucialmente, ele gera uma âncora de recuperação (uma consulta direcionada) para cada seção para guiar a subsequente recuperação de evidências de Nível-2. Isso desacopla o planejamento estrutural global da recuperação de evidências detalhadas.
• Agente Escritor (Writer Agent): Este agente gera conteúdo incrementalmente, uma seção por vez. Para evitar a saturação de contexto, ele utiliza uma memória de coerência limitada composta por:
  • Resumo Local ($L_{i-1}$): Captura a transição narrativa imediata da seção anterior.
  • Resumo Global ($G_{i-1}$): Uma representação comprimida contínua do arco temático e dos fatos estabelecidos de todo o documento.
    Ambos os resumos são atualizados por um sumarizador leve após cada seção, garantindo continuidade sem expandir o tamanho efetivo do contexto.
• Agente Verificador (Checker Agent) & Ciclo de Feedback de Atestação: Cada seção gerada passa por um processo de verificação de três estágios antes da incorporação final:
  1. Extração de Alegações: O texto é decomposto em alegações fatuais atômicas.
  2. Verificação NLI: Um modelo DeBERTa-v3-large classifica cada alegação como suportada, não suportada ou contradita em relação às evidências de Nível-2 recuperadas.
  3. Ciclo de Atestação: Se a cobertura factual ($coverage(S_i)$) estiver abaixo de um limiar ($\tau=0.8$), as alegações não suportadas são reescritas por um Agente de Revisão dedicado utilizando novas evidências recuperadas. Este ciclo executa por até três iterações.

Principais Contribuições

O artigo identifica três contribuições primárias:

1. Arquitetura de Recuperação de Dois Níveis: Uma estratégia de indexação inovadora que permite a recuperação multiagente eficiente em hardware restrito, separando os resumos de nível de planejamento dos fragmentos de evidência de nível de geração.
2. Memória de Coerência Limitada: Um mecanismo de geração por seção utilizando resumos locais e globais para prevenir a saturação de contexto e manter a coerência narrativa sem exceder os limites de contexto do modelo.
3. Ciclo de Revisão Baseado em Atestação: Um mecanismo de controle generativo que integra a verificação baseada em NLI diretamente no processo de geração, eliminando sistematicamente alegações não suportadas através de um ciclo de feedback, em vez de depender de avaliação pós-hoc.

Resultados Experimentais

O framework foi avaliado em três domínios: Literário (livros de domínio público), Financeiro (relatórios anuais) e Jurídico (materiais de casos judiciais). O desempenho foi medido contra RAG Padrão, RAG Hierárquico e modelos proprietários comerciais (GPT-4o, Claude, Gemini Pro).

• Fundamentação Factual: O RH-RAG superou consistentemente os baselines de RAG. No domínio financeiro, a remoção do Agente Verificador fez o AlignScore cair de 78,5 para 74,2, demonstrando o papel crítico da verificação.
• Coerência e Alinhamento: O RH-RAG alcançou melhorias significativas na coerência semântica (SUMMAC) e no alinhamento de nível de documento (AlignScore) em comparação com métodos de geração de passagem única.
• Comparação com Sistemas Proprietários: Apesar de utilizar modelos de pesos abertos de 7B–8B, o RH-RAG aproximou-se das métricas de fidelidade de sistemas proprietários na nuvem. Por exemplo, no domínio literário, o RH-RAG (Mistral-7B) alcançou um AlignScore de 76,7, ficando a apenas 3 pontos de distância do GPT-4o (79,1), sem transmitir dados externamente.
• Estudos de Ablação: O estudo confirmou que cada componente (Planejador, Escritor com memória, Verificador) fornece ganhos não redundantes. O Planejador melhorou a coerência estrutural, enquanto o Verificador proporcionou o maior ganho individual em alinhamento factual.

Significância e Alegações

O artigo afirma que o RH-RAG preenche uma lacuna crítica na literatura ao abordar simultaneamente o planejamento de documentos globais, a geração de memória limitada, a verificação determinística de nível de alegação e a implantação estrita apenas local dentro de um framework unificado.

O autor posiciona o RH-RAG como uma solução viável para organizações que não podem comprometer a privacidade dos dados. O sistema demonstra que a geração de longo formato de alta qualidade e confiável é alcançável em hardware de nível de consumo usando modelos de pesos abertos, desde que o processo de geração seja estruturado com planejamento explícito e verificação iterativa. O trabalho sugere que a confiabilidade dos sistemas proprietários na nuvem pode ser aproximada em ambientes privados através de inovações arquitetônicas, em vez de simplesmente escalar os parâmetros do modelo.

O artigo reconhece limitações, observando que o framework é limitado pelas capacidades de raciocínio de modelos de 7B–8B, depende de modelos ajustados para instrução de uso geral em vez de modelos especializados por agente, e que a avaliação em textos de domínio público pode representar um limite superior devido ao potencial conhecimento paramétrico latente nos modelos. O trabalho futuro proposto inclui limiares de verificação adaptáveis ao domínio e modelos NLI especializados.