When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1

Resumo Técnico: Quando o RAG de Múltiplos Ciclos Deve Parar?

Formulação do Problema
Sistemas de Geração Aumentada por Recuperação (RAG) de múltiplos ciclos, como o Search-R1, enfrentam um problema de seleção sequencial: determinar quando interromper a recuperação de evidências conforme o raciocínio se desenrola. Diferente de tarefas de classificação de estado independentes, uma política de parada implantada é determinada pela primeira travessia de limiar em uma trajetória. Consequentemente, um falso positivo precoce pode suprimir todos os estados corretos subsequentes, enquanto um classificador excessivamente conservador pode falhar em reduzir os custos de recuperação. Métodos existentes (ex: SIM-RAG, S2G-RAG) frequentemente relatam pontuações de nível de estado ou médias de ponta a ponta que não explicam totalmente por que uma política implantada tem sucesso ou falha. Este artigo aborda a lacuna entre a qualidade de classificação de nível de estado e o comportamento do sistema da decisão de "primeira travessia", questionando especificamente quanto do custo de recuperação pode ser reduzido sem violar uma tolerância de precisão pré-especificada.

Metodologia
O estudo adapta o mecanismo estruturado de julgamento de suficiência e lacuna (sufficiency-and-gap) do S2G-RAG para um pipeline Search-R1 congelado. O design experimental central envolve três estágios:

1. Sistema Upstream Auditado: O autor utiliza o checkpoint oficial Search-R1 Qwen2.5-7B PPO v0.2 com um recuperador E5 top-3 sobre o corpus Wiki-2018 e um orçamento de quatro buscas. O raciocinador, o recuperador e o orçamento de busca permanecem congelados; a única intervenção é a decisão de aceitar um estado precocemente.
2. Auditoria de Alcance Exploratória: Utilizando uma sonda "apenas resposta" (answer-only) congelada e não interventora em 200 trajetórias nativas, o autor estima oráculos condicionais empíricos. Isso determina com que frequência uma resposta correta já é alcançável antes que o sistema nativo pare, e quantas chamadas de busca poderiam teoricamente ser removidas sem alterar a resposta final.
3. Treinamento e Avaliação do Juiz:
   • Treinamento: Um juiz Qwen3.5-2B é treinado em 3.009 estados derivados de 900 questões do HotpotQA disjuntas. O juiz gera um esquema JSON estruturado contendo um campo booleano sufficient (suficiente) e uma lista de gap_items (itens de lacuna).
   • Validação e Congelamento: Um conjunto de validação agrupado (100 questões) é usado para selecionar o limiar de parada. O limiar é escolhido para maximizar o recall sujeito a uma precisão de STOP mínima de 0,90.
   • Análise de Confirmação: A avaliação final é realizada em um conjunto de teste reservado (índices 200–999 de um conjunto de 1.000 questões do HotpotQA). A política é avaliada contra dois critérios congelados:
     • Não-inferioridade: A perda de Correspondência Exata (Exact Match - EM) não deve exceder 2 pontos percentuais (limite inferior do IC de 95% para $\Delta$EM > -0,02).
     • Redução de Custo: A média de chamadas de busca deve diminuir (limite superior do IC de 95% para $\Delta$search < 0).

Principais Contribuições

1. Adaptação de Julgamento Estruturado: O artigo adapta com sucesso um mecanismo de julgamento estruturado estilo S2G (prevendo suficiência e informação ausente) para a interface de estado do Search-R1, treinando um juiz Qwen3.5-2B específico para os estados do Search-R1.
2. Formulação Consciente de Trajetória: Introduz uma formulação que separa o alcance do candidato, a classificação de estado, o comportamento da política de primeira travessia e os resultados do sistema. Isso destaca que melhorar a classificação de estado (Precisão Média) não garante automaticamente a melhoria do desempenho do sistema se a travessia do limiar for agressiva.
3. Escada de Mecanismo Controlado: O estudo demonstra um mecanismo controlado onde a supervisão binária melhora a precisão média, mas pode prejudicar o desempenho do sistema, enquanto a supervisão de lacuna estruturada ajuda a reduzir a interrupção excessiva sem alegar superioridade ao nível do sistema.

Resultos
No conjunto de teste de confirmação (800 questões):

• Redução de Recuperação: A política S2G expandida reduz as chamadas de recuperação em 77 (3,70%), diminuindo a média de 2,60125 para 2,50500. O intervalo de confiança de 95% para esta redução é $[-0,12000, -0,07375]$, o que exclui o zero.
• Impacto na Precisão: A Correspondência Exata (EM) Oficial diminui de 0,44875 (Nativo) para 0,44250 (Expandido), uma perda de 0,625 pontos percentuais. O IC de 95% para a diferença é $[-0,01250, 0]$. Isso satisfaz o critério de não-inferioridade (perda < 2 pontos percentuais).
• Classificação de Estado: O juiz expandido melhora a Precisão Média (AP) de STOP sobre o Base Estruturado em 0,03983.
• Análise de Risco: A política realiza 69 paradas antecipadas no nível do sistema. Dessas, 42 são "seguras" (a sonda congelada poderia responder corretamente) e 27 são "inseguras". A fração de paradas antecipadas inseguras selecionada é de 39,13%. A precisão de validação de 0,9091 (baseada em 11 estados) não se transferiu para o conjunto de confirmação (a precisão caiu para 0,6216).

Significância e Alegações
O artigo alega que o juiz estruturado do estilo S2G treinado pode reduzir as chamadas de recuperação enquanto preserva amplamente a precisão da resposta dentro de uma tolerância pré-especificada. Especificamente:

• O resultado estabelece que uma redução de recuperação de ~3,7% é alcançável com uma perda de EM de menos de 0,63 pontos percentuais no conjunto de confirmação.
• O artigo explicitamente não alega que a política seja uma "regra de parada segura". A alta fração de paradas antecipadas inseguras (39,13%) e a calibração fraca (Brier score 0,2952) indicam que a política não é certificada quanto ao risco.
• O resultado não implica melhoria de precisão, precisão inalterada ou menor custo total de inferência (pois o próprio custo computacional do juiz não é normalizado contra a economia de recuperação).
• O estudo enfatiza que "parada segura" (baixo erro condicional entre paradas aceitas) e "preservação de precisão" (qualidade média sobre todas as questões) são objetivos distintos, e a política atual atinge o segundo, mas não o primeiro.

O autor conclui que trabalhos futuros devem relatar uma avaliação de quatro partes: alcance do candidato, classificação de estado, comportamento da política de primeira travessia e métricas pareadas de qualidade-custo-risco, observando que nenhuma visão isolada é suficiente.