Adaptive Chunking: Optimizing Chunking-Method Selection for RAG

Resumo Técnico: Adaptive Chunking

1. O Problema

A eficácia dos sistemas de Geração Aumentada por Recuperação (RAG) depende criticamente de como os documentos são segmentados em "chunks" (pedaços) para indexação e recuperação.

• Limitação Atual: A maioria das abordagens utiliza estratégias "tamanho único" (one-size-fits-all), como divisores recursivos padrão ou baseados em páginas. Essas métodos frequentemente falham em capturar a estrutura e a semântica nuances de textos diversos.
• Dilema da Preservação de Contexto: Divisões arbitrárias quebram links contextuais, espalhando informações essenciais entre chunks desconectados.
• Falta de Avaliação Intrínseca: Não existe um framework dedicado para avaliar a qualidade do chunking de forma independente do desempenho downstream. A maioria dos estudos avalia a qualidade apenas indiretamente através de métricas de recuperação (como Recall@K), o que torna difícil isolar o impacto da estratégia de segmentação em si.

2. Metodologia Proposta

Os autores propõem o Adaptive Chunking, um framework que seleciona dinamicamente a estratégia de segmentação mais adequada para cada documento individualmente, baseada em métricas intrínsecas.

A. Pipeline de Pré-processamento:

• Uso de documentos reais (PDFs) dos domínios jurídico, técnico e de ciências sociais.
• Conversão para Markdown usando o Azure AI Document Intelligence, com melhorias customizadas para lidar com tabelas grandes, cabeçalhos/rodapés e blocos inseparáveis (figuras, notas de rodapé).

B. Novas Técnicas de Chunking:
O framework introduz dois novos métodos além das bases existentes:

1. LLM-Regex Splitter: Combina a análise estrutural de um LLM com a determinismo de expressões regulares. O LLM analisa uma amostra do documento e gera um padrão Regex específico para dividir o texto completo, respeitando fronteiras naturais (ex: delimitadores de artigos em leis).
2. Split-then-Merge Recursive Splitter: Uma variação do divisor recursivo em duas etapas:
   • Passo 1: Divisão recursiva usando uma hierarquia de separadores (títulos > seções > frases > caracteres) até atingir o tamanho alvo.
   • Passo 2: Mesclagem gulosa de segmentos adjacentes para evitar chunks minúsculos e pobres em contexto, respeitando o limite de tamanho máximo.

C. Pós-processamento (Regularização de Tamanho):

• Re-divisão de Oversized: Chunks que excedem o limite máximo (1.100 tokens) são re-divididos.
• Mesclagem de Tiny-chunks: Chunks menores que o mínimo (100 tokens) são mesclados com vizinhos para evitar desperdício de slots de recuperação.

D. Métricas Intrínsecas de Avaliação (5 Novas Métricas):
Para guiar a seleção adaptativa, foram desenvolvidas cinco métricas calculadas no nível do documento:

1. RC (References Completeness): Fração de pares entidade-pronome que permanecem intactos dentro do mesmo chunk (evita que o pronome fique sem seu antecedente).
2. ICC (Intrachunk Cohesion): Coerência semântica interna do chunk (similaridade entre embeddings de frases e o embedding do chunk inteiro).
3. DCC (Document Contextual Coherence): Alinhamento do chunk com seu contexto local (janela deslizante de até 3.000 tokens).
4. BI (Block Integrity): Proporção de blocos estruturais (parágrafos, tabelas, títulos) que não foram quebrados.
5. SC (Size Compliance): Proporção de chunks que respeitam os limites de tamanho (100–1.100 tokens).

E. Seleção Adaptativa:
Para cada documento, o sistema calcula a média das cinco métricas para várias estratégias candidatas e seleciona a que obtém a pontuação mais alta.

3. Principais Contribuições

1. Framework de Seleção Adaptativa: Abandona a estratégia única, permitindo que a melhor técnica seja escolhida por documento.
2. Novas Métricas Intrínsecas: Um conjunto de 5 métricas que avaliam a qualidade do chunk diretamente, sem depender de modelos de geração ou recuperação downstream.
3. Novos Algoritmos de Segmentação: O LLM-Regex Splitter e o Split-then-Merge Recursive Splitter, otimizados para estrutura e tamanho.
4. Pipeline de Avaliação Robusto: Uma metodologia que separa a qualidade da recuperação da qualidade da geração, usando métricas de completude e correção.

4. Resultados Experimentais

Os experimentos foram realizados em um corpus de 33 documentos (jurídicos, técnicos e sociais) com um pipeline de busca híbrida (BM25 + Vetorial) e geração via GPT-4.1.

• Desempenho em Métricas Intrínsecas:

  • A estratégia Adaptive alcançou a maior média geral (91,07%), superando qualquer método individual.
  • Não houve um "vencedor" universal: o Split-then-Merge (s=1100) foi melhor em coerência e integridade de blocos, enquanto a segmentação por páginas (pós-processada) foi perfeita em integridade estrutural (BI). A seleção adaptativa escolheu a melhor técnica para 48% dos documentos (páginas) e 42% (recursivo).

• Impacto no Desempenho do RAG (Downstream):

  • Correção das Respostas: Aumentou de ~62-64% (baselines) para 72% (Adaptive).
  • Taxa de Respostas Bem-sucedidas: O sistema adaptativo respondeu corretamente a 65 de 99 perguntas, contra 49 das baselines (um aumento de mais de 30%).
  • Completude da Recuperação: A métrica de completude da recuperação subiu de ~58-59% para 67,68%.

• Custo Computacional:

  • O método LLM-Regex é o mais lento (146s/doc), enquanto os divisores recursivos são rápidos (~30s). O pipeline adaptativo totaliza ~210s/doc, mas esse custo é amortizado no momento da indexação, não na consulta.

5. Significado e Implicações

• Validação da Heterogeneidade: O estudo demonstra empiricamente que documentos diferentes exigem estratégias de segmentação diferentes. Uma abordagem única é subótima.
• Importância das Métricas Intrínsecas: Pequenas melhorias nas métricas intrínsecas (0,4% a 2,4%) resultam em ganhos significativos no desempenho final do RAG (8-10 pontos percentuais), sugerindo um efeito de ampliação ao longo do pipeline.
• Recomendações Práticas:
  1. Prefira a seleção orientada ao documento em vez de um padrão global.
  2. Sempre aplique regularização de tamanho (mesclagem de pequenos e re-divisão de grandes).
  3. Equilibre coerência e contexto usando pontuação multi-métrica, evitando otimizar apenas uma dimensão.

Conclusão: O Adaptive Chunking oferece um caminho prático e eficaz para construir sistemas RAG mais robustos, melhorando a precisão e a taxa de sucesso sem a necessidade de alterar os modelos de linguagem ou os prompts, focando apenas na otimização da segmentação dos dados. O código está disponível publicamente no repositório do Ekimetrics.