Regime-Conditional Retrieval: Theory and a Transferable Router for Two-Hop QA

Título: Recuperação Condicional ao Regime: Teoria e um Roteador Transferível para QA de Dois Saltos

1. O Problema

Os sistemas de recuperação para Perguntas e Respostas (QA) de dois saltos (two-hop QA) geralmente tratam a "passagem de ponte" (bridge passage) como uma segunda consulta obrigatória. O fluxo padrão envolve codificar a passagem de ponte como uma nova consulta, recuperar novamente no corpus e fundir os resultados.

• Hipótese Implícita: Assume-se que a passagem de ponte sempre contém informações úteis para a recuperação além do que a pergunta original já codifica.
• A Realidade: O artigo demonstra que essa hipótese é verdadeira apenas para alguns tipos de consultas e falsa para outros. Aplicar a re-codificação da ponte indiscriminadamente pode ser redundante ou até prejudicial, dependendo da estrutura superficial do texto da pergunta.

2. Metodologia e Teoria

Os autores formalizam a divisão das consultas em dois regimes distintos baseados em predicados de texto superficial e propõem uma teoria matemática para explicar o comportamento dos modelos de recuperação.

A. Os Dois Regimes de Recuperação
O regime é determinado pela presença do nome da entidade do "segundo salto" (hop-2) na pergunta:

1. Regime Q-dominante (Question-dominant): Ocorre quando a entidade de resposta (hop-2) já é explicitamente nomeada na pergunta original ($P1 = \text{True}$).
   • Exemplo: "Quem nasceu antes, Pessoa A ou Pessoa B?"
   • Comportamento: A codificação da pergunta sozinha ($f_q(q)$) é suficiente. Re-codificar a passagem de ponte é redundante e pode introduzir ruído.
2. Regime B-dominante (Bridge-dominant): Ocorre quando a entidade de resposta não está na pergunta, mas é nomeada explicitamente em uma sentença relacional dentro da passagem de ponte ($P1 = \text{False}, P2 = \text{True}$).
   • Exemplo: "Qual a nacionalidade do diretor do Filme X?" (O diretor não é nomeado na pergunta, mas é na ponte).
   • Comportamento: A fusão da sentença relacional da ponte com a pergunta corrige o ranking e melhora a recuperação.

B. Os Três Teoremas Fundamentais
O artigo prova três teoremas que caracterizam essa estrutura:

• T1 (Calibração AUC-Margem): A AUC (Área sob a Curva) por consulta é uma função monótona da margem de separação de cosseno. Existe uma correlação forte ($R^2 \ge 0.90$) entre a margem de separação e o desempenho de recuperação.
• T2 (Decomposição do Regime): O regime é determinado por dois predicados de texto superficial:
  • $P1$: A entidade de resposta aparece na pergunta (decisivo para roteamento).
  • $P2$: A entidade aparece na passagem de ponte (qualifica o caso B-dominante).
  • A mudança de regime ocorre exatamente na fronteira de $P1$, válida em três codificadores e três conjuntos de dados.
• T3 (Suficiência da Sentença Relacional): A vantagem da ponte não vem do nome da entidade sozinho, mas especificamente da sentença que carrega a relação ($B_{rel}$). Remover essa sentença da ponte faz o desempenho colapsar (queda de 8,6 a 14,1 pontos percentuais).

C. A Solução Proposta: REGIMEROUTER
Baseado nessa teoria, os autores propõem o REGIMEROUTER, um roteador binário leve que decide dinamicamente entre duas estratégias de recuperação:

1. Ação Q: Usar apenas a codificação da pergunta.
2. Ação Union: Fundir a codificação da pergunta com a codificação da sentença relacional da ponte ($B_{rel}$).

• Funcionamento: O roteador usa um classificador de regressão logística treinado com 5 características de texto superficial (derivadas das definições de $P1$ e $P2$), sem necessidade de embeddings no momento da inferência.
• Seleção de Sentença: Um módulo auxiliar seleciona a sentença relacional ($B_{rel}$) dentro da passagem de ponte.
• Regra de Implantação: Utiliza um único parâmetro fixo de fusão ($\alpha = 0.25$) para todos os domínios, garantindo robustez "zero-shot".

3. Resultados Principais

O modelo foi treinado no conjunto de dados 2WikiMultiHopQA e testado em zero-shot em MuSiQue e HotpotQA.

• Desempenho no Domínio de Treino (2WikiMultiHopQA):
  • Melhoria de +5,6 pontos percentuais (pp) na métrica R@5 ($p < 0.001$).
• Transferência Zero-Shot (MuSiQue):
  • Como o MuSiQue é predominantemente composto por consultas do regime B-dominant, o roteador obteve uma melhoria significativa de +5,3 pp ($p = 0.002$).
• Transferência Zero-Shot (HotpotQA):
  • O HotpotQA é predominantemente Q-dominant (quase teto de desempenho). O roteador obteve uma tendência positiva de +1,1 pp (não significativo estatisticamente, mas "sem arrependimento" ou no-regret), indicando que não prejudicou o desempenho em cenários onde a ponte não é necessária.
• Validação Estrutural:
  • Experimentos de "knockout" (remoção da sentença relacional) confirmaram a T3.
  • Anotação humana ($\kappa = 1.00$) e replicação em diferentes codificadores (NV-Embed-v2, BGE-large, e5-mistral) confirmaram que os resultados são estruturais e não artefatos de um modelo específico.

4. Contribuições Chave

1. Teoria de Regime (T1-T3): Formalização de que a eficácia da recuperação de ponte depende da estrutura da pergunta, provando matematicamente a existência de dois regimes distintos.
2. REGIMEROUTER: Um roteador prático, leve e transferível que toma decisões baseadas apenas em texto superficial, sem custo de inferência de LLM ou embeddings complexos no momento da consulta.
3. Padrão "No-Regret": O sistema obtém ganhos significativos onde a ponte é necessária e não causa danos onde ela não é, com uma única regra de implantação ($\alpha = 0.25$) funcionando em múltiplos conjuntos de dados.
4. Validação Estrutural: Demonstração de que o gargalo não é a extração da sentença, mas a precisão do roteamento (a lacuna entre o roteador aprendido e o roteador oráculo é de +4,6 pp).

5. Significado e Impacto

Este trabalho desafia a prática comum de tratar a passagem de ponte como um sinal universal de recuperação. Ao identificar que a re-codificação da ponte é condicional ao regime, o artigo oferece uma solução eficiente que:

• Elimina o custo computacional desnecessário de re-codificar pontes em consultas onde a resposta já está na pergunta.
• Melhora drasticamente a recuperação em consultas complexas onde a ponte é essencial.
• Oferece um método de roteamento que é agóstico ao codificador (funciona em diferentes modelos de embedding) e transferível entre domínios sem necessidade de re-treinamento.

A principal conclusão prática é que a otimização futura deve focar na precisão do roteamento (decidir quando usar a ponte) em vez de apenas na engenharia de características ou na extração de sentenças.