CHOP: Chunkwise Context-Preserving Framework for RAG on Multi Documents

Resumo Técnico: CHOP

1. O Problema

Os sistemas de Geração Aumentada por Recuperação (RAG) enfrentam desafios significativos quando operam em bases de dados vetoriais contendo documentos semelhantes ou com alto grau de sobreposição semântica (comum em manuais técnicos, estatutos e documentos corporativos longos).

• Perda de Precisão: A segmentação baseada apenas em comprimento (ex: dividir texto a cada 500 tokens) fragmenta referências coesas (como "este método" ou "Eq. (3)"), quebrando a continuidade do discurso.
• Ambiguidade e Alucinação: Em contextos multi-documento, a redundância e referências conflitantes aumentam a ambiguidade na recuperação, levando o Modelo de Linguagem (LLM) a alucinar ou a gerar erros factuais devido à falta de contexto adequado.
• Colisão Semântica: Chunks de documentos diferentes, mas com tópicos similares, acabam com embeddings vetoriais muito próximos, dificultando a discriminação do recuperador.

2. Metodologia

O CHOP (Chunkwise Context-Preserving Framework) é uma arquitetura projetada para processar documentos longos e compostos, preservando a coerência contextual entre os chunks (pedaços de texto). O framework opera em um pipeline sequencial com dois componentes principais:

A. CNM-Extractor (Extrator de Categoria-Nome-Modelo)

• Função: Gera uma "assinatura" compacta para cada chunk antes de sua incorporação (embedding).
• Estrutura da Assinatura (CNM): Um triplo estruturado {Category, Nouns, Model}:
  • Category: Família do produto (ex: câmera, ar-condicionado).
  • Nouns: 1-2 substantivos-chave capturando o alvo ou ação (ex: "filtro de ar-condicionado").
  • Model: Nome específico da série ou modelo (ex: "225B", "X-SERIES").
• Implementação: Um LLM extrai essas informações seguindo um template JSON estrito. A assinatura é prefixada ao texto do chunk (x_i = [PFX(M_i) || C_i]) antes de ser vetorizada. Isso estabiliza o quadro contextual e clarifica referências a entidades.

B. Continuity Decision Module (Módulo de Decisão de Continuidade)

• Função: Determina se um chunk subsequente (C_{i+1}) pertence ao mesmo fluxo documental do anterior (C_i) ou se marca uma mudança de tópico.
• Lógica:
  • Se a decisão for TRUE (continuidade): O chunk herda a assinatura CNM do chunk anterior, mantendo a coerência semântica.
  • Se a decisão for FALSE (mudança de tópico): Um novo CNM é extraído para o novo chunk, marcando explicitamente a transição e evitando propagação de erros de rótulos.
• Objetivo: Evitar a "deriva semântica" e garantir que chunks relacionados sejam agrupados sob o mesmo contexto vetorial, mesmo que estejam em seções diferentes do documento.

3. Principais Contribuições

1. Preservação de Contexto em Nível de Chunk: Ao contrário de métodos que tratam chunks de forma independente, o CHOP propaga informações de contexto (via CNM) através de chunks consecutivos quando o tópico é o mesmo.
2. Redução de Colisão Semântica: O prefixo de metadados (CNM) regulariza o espaço de embeddings, ajudando o recuperador a distinguir entre documentos semelhantes que tratam de produtos ou modelos diferentes.
3. Pipeline Adaptativo para Manuais Técnicos: O sistema foi especificamente desenhado para lidar com documentos longos e sobrepostos (como manuais de produtos), onde a segmentação tradicional falha.
4. Sem Retreinamento do Recuperador: A melhoria na discriminação é alcançada alterando a composição dos dados de entrada (prefixagem), sem a necessidade de re-treinar o modelo de recuperação (embedder).

4. Resultados Experimentais

Os testes foram realizados no MRAMG-Bench, um benchmark derivado de manuais de produtos, comparando o CHOP com estratégias de base (Naive-500T e Cosine-Chunking).

• Desempenho na Recuperação (Table 1):
  • O CHOP alcançou uma Taxa de Acerto Top-1 (Top-1 Hit Rate) de 90,77%, superando significativamente o Naive-500T (81,28%) e o Cosine-Chunking (70,77%).
  • Houve ganhos notáveis nas métricas de qualidade de classificação (MRR e NDCG), indicando que o CHOP não apenas recupera a informação correta, mas a posiciona no topo da lista de resultados.
• Desempenho na Geração (Table 2):
  • A melhoria na recuperação traduziu-se diretamente em melhor qualidade de geração. O CHOP obteve os melhores resultados em F1, ROUGE-L e BERTScore.
  • Redução de alucinações: Ao fornecer evidências mais precisas e contextualizadas, o LLM gerou respostas mais fiéis aos dados de referência.

5. Significância e Conclusão

O CHOP demonstra que a qualidade da segmentação e a preservação de contexto são tão críticas quanto a qualidade do modelo de linguagem em sistemas RAG.

• Impacto Prático: Oferece uma solução escalável para construir bases de conhecimento de alta qualidade em cenários do mundo real (manuais, documentação técnica), onde a sobreposição de conteúdo é comum.
• Eficiência: Melhora a fidelidade da recuperação e reduz a propagação de erros para a etapa de geração, permitindo operar com orçamentos de contexto limitados de forma mais eficiente.
• Futuro: Os autores planejam explorar prefixagem adaptativa e modelagem de continuidade dinâmica para lidar com conhecimento em evolução e entradas em streaming, além de buscar estratégias mais leves para reduzir custos computacionais.

Em resumo, o CHOP resolve o problema da "confusão de recuperação" em documentos multi-documento ao enriquecer cada fragmento de texto com metadados estruturados e coerentes, garantindo que o sistema RAG entenda não apenas o que está escrito, mas onde e em que contexto isso se encaixa.