Resumo Técnico: ConCise – Compressão de Estado de Cadeia de Conclusões sem Treinamento para RAG de Múltiplas Etapas

1. Definição do Problema

A Geração Aumentada por Recuperação (RAG) de múltiplas etapas tornou-se um paradigma padrão para respostas a perguntas complexas, utilizando rodadas iterativas de recuperação e raciocínio para alcançar precisidade multi-salto (multi-hop). No entanto, esta abordagem sofre de inflação de contexto histórico. Sob o paradigma tradicional de "contexto total", todos os documentos recuperados e traços de raciocínio das rodadas anteriores são concatenados no input para cada etapa subsequente. Isso faz com que o crescimento dos tokens de entrada seja quadrático, aproximadamente $O(N^2)$, onde $N$ é o número de etapas de raciocínio.

Em arquiteturas de serviço baseadas em API (ex: serverless, implantações em edge), esse crescimento quadrático leva a três problemas críticos:

1. Custo: O faturamento por requisição está diretamente ligado à contagem de tokens de entrada, tornando cadeias de raciocínio profundas proibitivamente caras.
2. Latência: Payloads maiores aumentam o tempo de transmissão de rede e a latência de resposta.
3. Ruído: À medida que o contexto se expande, a densidade de informações irrelevantes aumenta, podendo causar deriva de atenção (attention drift) e degradação da precisão do raciocínio.

Métodos de compressão existentes (ex: poda de tokens, otimização de cache KV, compressão de vetor suave ou sumarização recursiva) são inadequados para este cenário dinâmico. Eles ou exigem acesso ao modelo (incompatível com APIs de caixa-preta), demandam treinamento/ajuste fino offline, ou sofrem perda de informação devido à reescrita repetida de estados históricos (sumarização recursiva). Há uma carência de soluções plug-and-play e sem necessidade de treinamento especificamente projetadas para a natureza de adição exclusiva (append-only) do gerenciamento de estado em RAG iterativo.

2. Metodologia: ConCise

O artigo propõe o ConCise, um protocolo de camada de estado sem treinamento que reestrutura a transmissão de contexto entre rodadas. Ele opera ao nível da concatenação de prompts sem exigir modificação do modelo ou treinamento adicional.

Mecanismos Principais

1. Iteração de Cadeia de Conclusões:
   Em vez de propagar todo o histórico de documentos brutos ($D_t$) e traços de raciocínio ($r_t$), o ConCise mantém uma cadeia de conclusões estruturadas de adição exclusiva ($C_t$).

   • Em cada rodada $t$, o sistema recupera um conjunto de documentos $D_t$ baseado na consulta $q$ e na cadeia de conclusões atual $C_{t-1}$.
   • O gerador produz uma trajetória de raciocínio $r_t$ e uma conclusão estruturada $c_t$.
   • O estado passado para a próxima rodada é $S_t = (q, C_t)$, onde $C_t = \text{Append}(C_{t-1}, c_t)$.
   • Os documentos brutos $D_t$ são descartados após a rodada atual.
   • Redução de Complexidade: Isso reduz o crescimento cumulativo do contexto de $O(N^2)$ para aproximadamente $O(N)$.

2. Geração Fundida (Fused Generation):
   Para eliminar o overhead de uma dupla invocação serial (uma chamada para raciocínio, uma para resumo), o ConCise introduz um modo de geração fundida. Em uma única chamada de API, o modelo emite conjuntamente a trajetória de raciocínio, a conclusão estruturada e a próxima ação. Isso remove o custo de faturamento de entrada repetido associado ao envio do contexto duas vezes.

3. Arquitetura Plugável:
   O módulo de atualização de estado é projetado como um componente plugável com dois modos:

   • Modo Fundido (Fused Mode): Chamada de API única para eficiência (recomendado para edge/serverless).
   • Modo de Dois Estágios (Two-Stage Mode): Chamadas separadas para raciocínio e extração de conclusão, útil quando um modelo de resumo dedicado está disponível ou quando se busca maior qualidade de extração.

Justificativa Teórica

O artigo fornece uma análise de teoria da informação comparando o ConCise à sumarização recursiva.

• Sumarização Recursiva: A reescrita repetida de resumos anteriores cria uma cadeia de Markov onde a fidelidade da informação decai monotonicamente ($I(\sigma_t; Z_k) \leq I(\sigma_{t-1}; Z_k)$).
• Regra de Adição Exclusiva (Append-Only): Ao manter as conclusões literalmente sem recompressão, o ConCise garante que a entropia condicional das conclusões passadas dada a cadeia atual seja zero ($H(c_k | C_t) = 0$). Isso evita a degradação em cascata de fatos de rodadas iniciais enquanto mantém um payload de $O(N)$.

3. Principais Contribuições

1. Paradigma de Raciocínio de Cadeia de Conclusões: Uma nova estratégia de gerenciamento de estado que substitui o acúmulo de texto bruto por uma cadeia de adição exclusiva de conclusões estruturadas, reduzindo o crescimento do contexto de $O(N^2)$ para $O(N)$ e eliminando a propagação de ruído entre rodadas.
2. Arquitetura Plugável Sem Treinamento: Um método de zero treinamento compatível com APIs de caixa-preta. Inclui um mecanismo de geração fundida que reduz o overhead por etapa ao combinar raciocínio e extração de conclusão em uma única chamada de API.
3. Avaliação Empírica Sistemática: Experimentos extensos em 12 configurações pareadas (3 modelos, 2 datasets, 2 frameworks) demonstrando economia significativa de tokens com trocas aceitáveis de precisão.

4. Resultados Experimentais

A avaliação utilizou os datasets HotpotQA e 2WikiMultihopQA com três modelos (GPT-5, Qwen2.5-72B, DeepSeek V3.2) e duas linhas de base (IRCoT, Search-R1). A profundidade máxima de raciocínio foi definida em 4 etapas.

• Eficiência de Tokens: O ConCise alcançou uma economia média de 64,63% de tokens na etapa 4. As economias aumentaram com a profundidade do raciocínio (efeito de amplificação de profundidade), variando de 49,6% a 74,1% entre as configurações.
• Impacto na Precisão: O impacto na precisão variou conforme o método de linha de base:
  • IRCoT (Baseado em Prompt): Mostrou melhorias significativas de precisão (média de +8,37 pp), sugerindo que a cadeia de conclusões ajuda a mitigar a deriva de atenção e a redundância inerentes aos métodos baseados em prompt.
  • Search-R1 (Treinado por RL): Mostrou declínios leves na precisão (média de -1,07 pp). Os autores atribuem isso à potencial perda de pistas detalhadas (ex: detalhes numéricos, associações fracas) nas quais a política de RL se baseia, que são descartadas durante a compressão.
• Métricas de Serviço: As reduções de tokens traduziram-se diretamente em reduções proporcionais no payload de rede estimado e nos custos de faturamento de entrada.

Modos de Falha Identificados

O artigo identifica três modos de falha específicos:

1. Informação Ausente: Extração incompleta de detalhes cruciais na conclusão.
2. Perda de Granularidade: Degradação de informações de alta densidade (números, carimbos de data/hora) durante a compressão.
3. Propagação de Erro: Conclusões incorretas estabelecidas precocemente na cadeia são preservadas literalmente e não podem ser corrigidas em rodadas subsequentes devido à natureza de adição exclusiva.

5. Significância e Alegações

O artigo afirma que o ConCise fornece uma solução amigável para implantação e custo-eficiente para serviços de RAG de múltiplas etapas, particularmente para ambientes nativos de API, serverless e edge, onde o acesso ao modelo é restrito e o custo é uma restrição primária.

• Eficiência de Custo: Ao comprimir o crescimento do contexto para $O(N)$ e utilizar a geração fundida, o ConC ich oferece um método plug-and-play para reduzir drasticamente os custos de faturamento de API sem retreinar modelos.
• Preservação de Qualidade: Para métodos suscetíveis ao ruído de contexto longo (como o IRCoT), a cadeia de conclusões estruturada pode, de fato, melhorar a qualidade do raciocínio ao atuar como uma "âncora de atenção", impedindo que o modelo seja sequestrado por menções repetidas de entidades incorretas.
• Limitações: Os autores reconhecem modestamente que o método depende da qualidade da extração inicial da conclusão. Se uma conclusão inicial for incorreta, o design de adição exclusiva impede a autocorreção. Eles sugerem que trabalhos futuros poderiam explorar a inserção de cadeia atrasada ou janelas de evidência deslizantes para mitigar isso.

Em resumo, o ConCise aborda o gargalo de escalabilidade do RAG iterativo ao mudar a representação de estado do acúmulo de texto bruto para uma cadeia de conclusões compacta e estruturada, ofereando um equilíbrio prático entre custo, latência e fidelidade de raciocínio.