DocQAC: Adaptive Trie-Guided Decoding for Effective In-Document Query Auto-Completion

1. O Problema: DocQAC vs. WebQAC

O artigo introduz e formaliza uma nova tarefa chamada DocQAC (Query Auto-Completion em Documentos), diferenciando-a do tradicional WebQAC (Auto-completar de Consultas na Web).

• Contexto WebQAC: Os sistemas atuais de WebQAC baseiam-se em logs de busca globais e popularidade de consultas. Eles sugerem termos frequentes em todo o corpus da web.
• Contexto DocQAC: Ocorre dentro de documentos específicos e longos (ex.: manuais técnicos, documentos jurídicos, PDFs corporativos).
  • Desafios Principais:
    • Localidade de Intenção: A intenção do usuário é exploratória e estritamente ligada ao conteúdo do documento atual, não à popularidade global.
    • Mudança de Vocabulário: Documentos contêm entidades nomeadas, frases específicas de domínio e terminologia de "cauda longa" que raramente aparecem em logs globais.
    • Grounding Contextual: O mesmo prefixo (ex: "fr") pode exigir completamentos radicalmente diferentes dependendo do documento (ex: "France" em um artigo sobre história vs. "free" em um artigo sobre jogos).
  • Limitação Atual: Não existem pesquisas dedicadas a DocQAC. Adaptar métodos WebQAC falha porque eles ignoram o contexto do documento e tendem a alucinar sugestões irrelevantes ou não presentes no texto.

2. Metodologia Proposta

Os autores propõem um framework inovador que combina modelos de linguagem (LLMs) com estruturas de dados clássicas (Tries) através de uma técnica de decodificação guiada.

A. Formulação do Problema

Enquanto o WebQAC busca maximizar a probabilidade marginal global $P(q|p, H_{global})$, o DocQAC é um problema de otimização condicional restrita:
$$q^*_{doc} = \arg\max_{q \in V^*} P(q|p, d_{curr}, H_{curr})$$
Onde a completude deve ser estritamente condicionada ao documento atual ($d_{curr}$) e ao histórico de interações com aquele documento. Sugestões fora do escopo do documento são tratadas como alucinações.

B. Framework de Decodificação Guiada por Trie Adaptativa

A contribuição central é um mecanismo de decodificação guiada por Trie que "suavemente" (softly) direciona a geração do modelo de linguagem sem adicionar novos parâmetros treináveis.

1. Construção de Tries:
   • Global Trie: Baseado em todas as consultas de treinamento.
   • DocQ Trie: Baseado no histórico de consultas específicas de um documento.
   • DocC Trie: Baseado nos n-gramas do texto do documento.
2. Mecanismo de Penalidade Adaptativa:
   • Durante a decodificação (beam search), o sistema calcula um viés (bias) subtraído dos logits de tokens que não correspondem a caminhos válidos no Trie.
   • Decaimento (Annealing): A penalidade não é fixa; ela decai conforme o comprimento do prefixo aumenta e conforme a profundidade do feixe (beam depth). Isso permite que o modelo seja estritamente guiado no início (para garantir relevância) e ganhe flexibilidade contextual mais tarde.
   • Fórmula do Viés: $\text{annealed\_bias} = \text{initial\_bias} \cdot e^{-\alpha \cdot \text{length}} \cdot e^{-\beta \cdot \text{beam\_depth}}$
3. Resolução de Mismatch de Tokenização:
   • Como os Tries são construídos em nível de caracteres/subpalavras e os LLMs decodificam em subpalavras, os autores implementam uma técnica para garantir que o caminho do prefixo no Trie corresponda exatamente à tokenização do modelo, inserindo um token separador único ([SEP_SPLIT]) para evitar correspondências redundantes.

C. Incorporação de Contexto do Documento

O estudo avalia várias formas de fornecer contexto ao modelo:

• Entradas Curtas: Título + URL + Prefixo.
• Representações Longas: Texto completo do documento (truncado), Palavras-chave (Keyphrases) extraídas via YAKE, e Sumários gerados por LLM.
• RAG (Retrieval-Augmented Generation): Uso de chunks relevantes do documento (via BM25 ou embeddings densos) para enriquecer a entrada do modelo.

3. Contribuições Principais

1. Formalização do DocQAC: Definição clara da tarefa como um problema distinto do WebQAC, com restrições de fidelidade estritas e desafios de "cold-start" para documentos.
2. Novo Dataset e Benchmark: Criação de um conjunto de dados derivado do ORCAS, enriquecido com pares consulta-documento, dividido em quatro cenários de teste:
   • Seen Query - Seen Document (SS)
   • Seen Query - Unseen Document (SU)
   • Unseen Query - Seen Document (US)
   • Unseen Query - Unseen Document (UU)
3. Framework de Decodificação Adaptativa: Um método que permite a modelos menores (T5, BART) superar modelos grandes (LLaMA-3, Phi-3) em tarefas de completamento, resolvendo o problema de "deriva generativa" (hallucinação) dos LLMs.
4. Eficiência e Desempenho: Demonstração de que modelos guiados por Trie são significativamente mais rápidos e precisos do que modelos grandes não guiados.

4. Resultados Experimentais

Os experimentos foram realizados em modelos como T5-Small, BART-Base, Phi-3.5 e LLaMA-3.2.

• Desempenho Superior em Cenários "Seen": No cenário SS (Consulta e Documento vistos no treino), o modelo DocQ-Guided BART superou todos os baselines, incluindo LLaMA-3 e Phi-3.
  • MRR (Mean Reciprocal Rank): O modelo guiado alcançou 0.720, contra 0.486 do BART não guiado (melhoria de ~48%).
  • TES (Typing Effort Saved): O modelo guiado salvou mais esforço de digitação (0.896 vs 0.750).
• Superação de Modelos Grandes: Modelos pequenos (T5/BART) com decodificação guiada superaram consistentemente modelos grandes instruídos (LLaMA-3, Phi-3) em métricas de precisão e relevância, sendo ~52x menores (T5) e ~23x menores (BART).
• Latência:
  • A adição da decodificação guiada aumentou a latência em apenas 8-12 ms em comparação com a versão não guiada.
  • Os modelos guiados foram ~15x mais rápidos que os modelos LLaMA-3 e Phi-3, tornando-os viáveis para implantação em tempo real.
• Análise de Contexto:
  • Para consultas vistas (SS), Tries específicos do documento (DocQ) foram superiores.
  • Para consultas não vistas (US/UU), modelos neurais (LLMs) com contexto (RAG ou Keyphrases) foram necessários, mas ainda assim, a abordagem guiada melhorou a precisão.

5. Significado e Conclusão

O trabalho demonstra que, para tarefas de geração controlada e contextualizada como o DocQAC, não é necessário escalar o tamanho do modelo para obter melhores resultados.

• Eficiência: A combinação de modelos de linguagem compactos com estruturas de dados clássicas (Tries) via decodificação adaptativa oferece o melhor equilíbrio entre precisão, fidelidade ao contexto e latência.
• Aplicabilidade Prática: O sistema é pronto para implantação em ferramentas de busca interna de documentos (ex.: Adobe Acrobat, IDEs, sistemas de gestão documental), onde a precisão e a velocidade são críticas.
• Recurso Aberto: Os autores disponibilizaram o dataset DocQAC e o código, fomentando futuras pesquisas em busca contextual e geração de texto restrita.

Em resumo, o DocQAC estabelece um novo estado da arte para auto-completar em documentos, provando que a "inteligência" pode ser alcançada através de restrições inteligentes de decodificação em vez de apenas aumentar a capacidade paramétrica dos modelos.