Resumo Técnico: IterCOMP

Declaração do Problema

O Questionamento de Múltiplos Saltos (Multi-hop Question Answering - QA) requer o raciocínio através de múltiplos segmentos de evidência para derivar uma resposta correta. Embora os sistemas de Geração Aumentada por Recuperação (RAG) mitiguem as limitações de conhecimento dos Grandes Modelos de Linguagem (LLMs) ao incorporar informações externas, eles enfrentam desafios significativos de eficiência e eficácia. A recuperação de documentos extensos introduz alta latência de inferência, custos computacionais elevados e o fenômeno "lost-in-the-middle" (perdido no meio), onde os modelos têm dificuldade em dar atenção à informação relevante em meio ao ruído.

Os métodos atuais de compressão de prompts tentam abordar essas questões reduzindo o comprimento do input. No entanto, a maioria é projetada para consultas de turno único e depende de correspondência de relevância de nível superficial. Eles falham em capturar os passos de raciocínio interdependente e sequencial necessários para o QA de múltiplos saltos, frequentemente descartando pistas intermediárias críticas ou retendo conteúdo irrelevante que distrai o modelo. Consequentemente, as abordagens atuais lutam para sintetizar informações de múltiplas fontes de forma eficaz, levando a uma compreensão contextual incompleta.

Metodologia: IterCOMP

Os autores propõem o IterCOMP, um framework de compressão de prompt unificado e livre de treinamento, projetado especificamente para QA de múltiplos saltos. Diferente dos métodos de compressão estáticos, o IterCOMP integra o raciocínio de múltiplos saltos diretamente no loop de compressão através de um processo de refinamento iterativo. O framework opera sem o ajuste fino (fine-tuning) dos LLMs subjacentes, tornando-o aplicável tanto a modelos de código aberto quanto a modelos comerciais de caixa-preta.

O pipeline consiste em quatro estágios principais:

1. Decomposição de Documentos: Os documentos recuperados são segmentados em unidades de evidência menores (especificamente sentenças neste trabalho) para preservar o contexto semântico local enquanto permite uma filtragem granular.
2. Filtragem de Evidência Relevante: Um mecanismo de pontuação de relevância de duplo aspecto filtra os segmentos candidatos. Este combina:
   • Similaridade Semântica: Computada via embeddings de vetores densos para capturar o alinhamento contextual.
   • Similaridade Lexical: Computada via sobreposição de tokens ponderada para capturar correspondências precisas de palavras-chave, que são cruciais para o raciocínio de múltiplos saltos.
   • Essas pontuações são combinadas em uma métrica única, e os segmentos que excedem um limiar baseado em percentil são retidos.
3. Julgamento de Respondibilidade e Identificação de Informação Ausente: Um LLM atua como um controlador de raciocínio para avaliar o conjunto de evidências acumuladas ($E_{cand}$):
   • Respondível: Se a evidência for suficiente para responder à pergunta original, o processo termina e o conjunto atual torna-se o prompt comprimido final.
   • Não Respondível: Se a evidência for insuficiente, o LLM identifica a lacuna de informação específica e gera uma pergunta de acompanhamento direcionada.
4. Acumulação Iterativa: A pergunta de acompanhamento gerada serve como uma nova consulta para recuperar e filtrar evidências adicionais. Este ciclo se repete até que a pergunta seja considerada respondível ou um limite máximo de iterações seja atingido, construindo progressivamente um prompt compacto e orientado ao raciocínio.

Principais Contribuições

• Loop de Raciocínio Iterativo: O artigo introduz um framework que incorpora explicitamente o raciocínio de múltiplos saltos no processo de compressão, indo além da correspondência de relevância de consulta única para lidar com passos de raciocínio interdependentes.
• Design Livre de Treinamento: O IterCOMP opera sem treinamento ou ajuste fino do modelo de compressão, baseando-se, em vez disso, nas capacidades inerentes de raciocínio de LLMs pré-treinados para julgamento e geração de perguntas.
• Filtragem de Duplo Aspecto: O método combina sinais semânticos e lexicais para garantir tanto a ampla relevância contextual quanto a cobertura precisa de palavras-chave, abordando as limitações de compressões puramente semânticas ou puramente lexicais.
• Acumulação Dinâmica de Evidências: Ao usar julgamentos de respondibilidade para disparar perguntas de acompanhamento direcionadas, o framework acumula dinamicamente apenas a evidência crítica necessária, evitando a perda de informação comum na compressão estática.

Resultados Experimentais

Os autores avaliaram o IterCOMP em três benchmarks de QA de múltiplos saltos: MuSiQue, 2WikiMultiHopQA e HotpotQA. O framework foi comparado contra baselines de compressão de prompt rígida de última geração (ex: LLMLingua, LongLLMLingua, R2C) e um baseline de "Documentos Brutos" (Raw Documents).

• Ganhos de Desempenho: O IterCOMP alcançou os maiores escores de Correspondência Exata (EM) e F1 em todos os datasets. Por exemplo, no MuSiQue, ele melhorou o F1 de 19,92 (Documentos Brutos) para 27,36, superando significativamente o segundo melhor baseline (R2C) em 4,92 pontos.
• Eficiência: O framework alcançou uma redução substancial de tokens (ex: uma redução de 7× no MuSique) enquanto mantinha ou melhorava a precisão em comparação com os baselines não comprimidos.
• Robustez: Embora o desempenho naturalmente decline conforme a complexidade do raciocínio aumenta (ex: os escores F1 no MuSiQue caem de 30,19 em 2-hop para 20,72 em 4-hop), o IterCOMP demonstra robustez ao ajustar seu comportamento dinamicamente. Especificamente, ele aumenta o número médio de iterações (de 1,98 para 3,08) e expande sua base de evidência retida (de 228 para 403 tokens) para suportar melhor cadeias de raciocínio mais longas, mitigando assim a severidade da degradação de desempenho em comparação com métodos estáticos.
• Custo e Velocidade: Em experimentos com LLMs comerciais baseados em API (GPT-3.5, GPT-4o, Gemini, Claude), o framework reduziu os custos operacionais em 75,5%–79,4% e acelerou a inferência em 1,13× a 2,01×.
• Estudos de Ablação: Remover o componente de refinamento iterativo causou a maior queda de desempenho, confirmando a necessidade da acumulação de evidências. Da mesma forma, a combinação de pontuação semântica e lexical provou ser superior ao uso de apenas um sinal isolado.

Significância e Alegações

O artigo afirma que o IterCOMP oferece uma solução robusta e escalável para aplicações complexas de múltiplos documentos com LLM, abordando tanto a degradação de desempenho em contextos longos quanto o fardo econômico da inferência em larga escala.

As principais alegações sobre sua significância incluem:

• Preenchendo a Lacuna: O IterCOMP preenche efetivamente a lacuna de desempenho entre entradas de documentos brutos e configurações ideais de "Oracle" (onde apenas os documentos de ouro são fornecidos), fechando mais de 50% da lacuna no HotpotQA.
• Aplicabilidade Geral: Sua natureza agnóstica a modelos e livre de treinamento permite a integração imediata com LLMs comerciais de caixa-preta, onde o ajuste fino é inviável.
• Compressão Consciente do Raciocínio: O trabalho demonstra que uma compressão eficaz para QA de múltiplos saltos requer mais do que apenas reduzir o comprimento; ela necessita de um processo consciente do raciocínio que identifique e preencha lacunas de informação de forma iterativa.

Os autores reconhecem limitações, observando que a eficácia do framework depende das capacidades de raciocínio do LLM subjacente (correndo o risco de propagação de erros) e que o design iterativo incorre em overhead adicional em comparação com métodos de passagem única. Eles sugerem que trabalhos futuros poderiam focar em ajuste de hiperparâmetros adaptativo e esquemas de pontuação mais sofisticados.