Resumo Técnico: TreeHop: Reescritor de Consultas Eficiente ao Nível de Embedding

Declaração do Problema

Sistemas de Geração com Recuperação Aumentada (RAG) enfrentam dificuldades com Resposta a Perguntas de Múltiplos Saltos (MHQA - Multi-Hop Question Answering), onde as respostas exigem a síntese de informações através de múltiplos fragmentos de documentos. Abordagens convencionais dependem de loops iterativos envolvendo Grandes Modelos de Linguagem (LLMs) para reescrever consultas com base no contexto recuperado (ex: "Recuperar-Reescrever-Vetorizar-Recuperar"). Este processo acarreta custos computacionais e latência significativos devido às invocações repetidas de LLMs e ao processamento de múltiplos estágios. Além disso, métodos eficientes existentes frequentemente falham em equilibrar o compromisso entre a sobrecarga computacional e a eficácia da recuperação, particularmente em cenários de implantação de baixo recurso ou sensíveis à latência.

Metodologia: TreeHop

O TreeHop propõe um novo framework que realiza o refinamento da consulta inteiramente ao nível de embedding, eliminando a necessidade de reescrita de consulta baseada em LLM. O mecanismo central opera através dos seguintes componentes:

1. Atualização de Consulta ao Nível de Embedding

Em vez de gerar novas consultas de texto, o TreeHop atualiza dinamicamente o embedding da consulta fundindo informações semânticas da consulta anterior e dos documentos recuperados. A regra de atualização é definida como:
$$q_{r+1}^i = q_r - \text{ForgetGate}(q_r, c_r^i) + \text{UpdateGate}(q_r, c_r^i)$$

• ForgetGate (Portão de Esquecimento): Utiliza um mecanismo de atenção cruzada para identificar e suprimir semânticas da consulta que já foram resolvidas pelo fragmento recuperado $c_r^i$. Isso evita a recuperação redundante de informações já capturadas.
• UpdateGate (Portão de Atualização): Incorpora seletivamente novas informações relevantes do fragmento recuperado para formar o embedding da consulta do próximo passo.
• Arquitetura: Ambos os portões utilizam um mecanismo de atenção cruzada modificado que opera ao longo das dimensões do embedding em vez das posições de tokens, pois a entrada consiste em vetores de dimensão fixa de um codificador congelado (BGE-m3). Isso permite que o modelo dimensione as coordenadas do vetor de embedding para descartar ou injetar características semânticas específicas.

2. Estratégias de Poda (Pruning)

Para evitar o crescimento exponencial dos ramos de recuperação inerente aos sistemas de múltiplos saltos, o TreeHop emprega dois critérios de parada baseados em regras:

• Poda de Redundância: Termina caminhos onde o fragmento de documento recuperado já foi visto em iterações anteriores.
• Poda Top-K por Camada: Em cada camada de recuperação, apenas os top-$K$ fragmentos com as maiores pontuações de similaridade entre todos os embeddings de consulta gerados são retidos. Isso reduz o fator de ramificação de $O(n^r)$ para um crescimento linear gerenciável.

3. Treinamento e Construção de Dados

O TreeHop é treinado usando aprendizado contrastivo (perda InfoNCE). Os dados de treinamento são construídos como Grafos Acíclicos Dirigidos (DAGs) que representam trajetórias de raciocínio de múltiplos saltos.

• Pipeline de Dados: Perguntas de um único salto são conectadas via entidades de ponte para formar consultas de múltiplos saltos. Um LLM valida a topologia de raciocínio e a integridade da evidência, garantindo que a estrutura do grafo esteja correta.
• Objetivo: O modelo aprende a prever o embedding da próxima consulta dado um par consulta-fragmento, tratando a evidência do próximo salto correto como alvos positivos e outros fragmentos do corpus como negativos.
• Eficiência: O modelo é compacto (0,18 bilhão de parâmetros) e pode ser treinado em uma única GPU.

Principais Contribuições

O artigo identifica três contribuições primárias:

1. Novo Mecanismo de Atualização de Embedding: Substitui as reescritas iterativas impulsionadas por LLM por operações neurais leves (atenção cruzada com portões sobre embeddings), permitindo uma complexidade computacional eficiente para tarefas de MHQA quando combinado com poda.
2. Critério de Parada Eficiente Baseado em Regras: Introduz a poda de redundância e de top-$K$ por camada para controlar o crescimento do fator de ramificação enquanto mantém o desempenho de recuperação.
3. Validação Empírica: Demonstra um equilíbrio superior entre eficiência e precisão em quatro benchmarks de MHQA (HotpotQA, 2WikiMultiHop, MuSiQue, MultiHop RAG).

Resultados Experimentais

O TreeHop foi avaliado contra baselines (Recuperação Direta) e soluções avançadas de RAG (Iter-RetGen, EfficientRAG, RAPTOR) em quatro conjuntos de dados.

• Eficiência: O TreeHop reduz a latência da consulta em 92,8%–97,8% em comparação com métodos baseados em LLM (ex: Iter-RetGen) e supera significativamente outros modelos eficientes. Ele alcança isso com apenas 2,2%–29,4% do tamanho de parâmetros de soluções concorrentes.
• Desempenho de Recuperação:
  • No 2WikiMultiHop e MultiHop RAG, o TreeHop supera o Iter-RetGen (apoiado pelo Llama3.1-8B) em 3,5%–5,2% em recall na segunda iteração e 4,9%–9,1% na terceira iteração, com menos fragmentos recuperados em média.
  • No HotpotQA, ele lidera todas as soluções iterativas na segunda iteração e segue apenas o RAPTOR na terceira.
  • No MuSiQue, ele apresenta um desempenho ligeiramente inferior ao Iter-RetGen (diferença de 0,4%), atribuído à exigência do conjunto de dados de sintetizar informações de múltiplos fragmentos simultaneamente, uma limitação da estratégia de par consulta-fragmento.
• QA de Ponta a Ponta: Quando pareado com LLMs de downstream, o TreeHop alcança precisão competitiva ou superior, particularmente no 2WikiMultiHop e MultiHop RAG, devido à sua capacidade de completar cadeias de evidências de forma eficaz.

Significância e Alegações

O artigo afirma que o TreeHop oferece uma solução mais rápida e econômica para implantações de baixo recurso ou sensíveis à latência. Ao colapsar o ciclo tradicional de "Recuperar-Reescrever-Vetorizar-Recuperar" em um loop simplificado de "Recuperar-Embedding-Recuperar", o TreeHop preenche a lacuna entre eficiência computacional e eficácia de recuperação.

Os autores posicionam o TreeHop não como um substituto para todos os métodos de RAG, mas como uma alternativa escalável para recuperação iterativa que evita a pesada sobrecarga computacional da geração por LLM em cada salto. O trabalho sugere que a reescrita centrada em embedding é um equilíbrio prático para o raciocínio de múltiplos saltos no mundo real, particularmente onde a latência e a eficiência de parâmetros são restrições críticas. O artigo reconhece limitações, especificamente que a arquitetura atual depende de pares consulta-fragmento e pode ter dificuldade em sintetizar informações através de múltiplos fragmentos simultaneamente em comparação com métodos que podem processar janelas de contexto mais amplas.