DocQAC: Adaptive Trie-Guided Decoding for Effective In-Document Query Auto-Completion

Resumen Técnico: DocQAC

1. Definición del Problema

El artículo introduce y formaliza una nueva tarea llamada DocQAC (Query Auto-Completion dentro de Documentos), diferenciándola de los sistemas tradicionales de autocompletado de consultas web (WebQAC).

• Contexto WebQAC: Se basa en la popularidad global y el historial de búsquedas masivo. Sugiere términos frecuentes independientemente del contexto actual.
• Contexto DocQAC: El objetivo es ayudar a los usuarios a buscar información específica dentro de un documento largo y concreto (ej. manuales técnicos, documentos legales, PDFs corporativos).
• Desafíos Clave:
  • Localidad de la Intención: La intención del usuario está estrictamente acotada al documento actual, no a la web global.
  • Desplazamiento de Vocabulario: Los documentos contienen entidades nombradas, terminología de dominio específico y términos de "cola larga" que no aparecen en los registros de búsqueda globales.
  • Grounding Contextual: Una misma prefijo (ej. "fr") debe generar sugerencias radicalmente diferentes dependiendo del documento (ej. "France" en un artículo de historia vs. "Free" en un artículo de software).
  • Problema de "Cold-Start": Los documentos nuevos o con historial de consultas escaso requieren que el sistema se base en el contenido del documento mismo.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que combina modelos de lenguaje (LLMs) con estructuras de datos clásicas (Tries) mediante una técnica de Decodificación Guiada por Trie Adaptativa.

A. Construcción del Dataset (DocQAC Benchmark)

• Se utilizó el dataset ORCAS (1.4M documentos, 10M consultas) enriquecido con pares consulta-documento.
• Augmentación de Consultas: Se generaron consultas similares no clicadas utilizando similitud coseno (DeBERTa) y se filtraron rigurosamente.
• Etiquetado de Relevancia: Se utilizó GPT-4 como clasificador binario para determinar si una consulta es relevante para un documento específico, eliminando sesgos de popularidad.
• División de Datos: Se crearon cuatro splits de prueba para evaluar escenarios realistas:
  1. SS (Seen-Seen): Consulta y documento vistos en entrenamiento.
  2. SU (Seen-Unseen): Consulta vista, documento nuevo.
  3. US (Unseen-Seen): Consulta nueva, documento visto.
  4. UU (Unseen-Unseen): Ambos nuevos.

B. Enfoque de Modelado
Se evaluaron tres estrategias principales:

1. Métodos Basados en Trie: Tries globales, Tries de contenido del documento (DocC) y Tries de consultas específicas del documento (DocQ). Son rápidos pero carecen de generalización.
2. Modelos de Lenguaje Neuronales (Generativos): Se probaron modelos encoder-decoder (T5-Small, BART-Base) y modelos grandes (LLaMA-3.2, Phi-3.5) ajustados finamente (LoRA). Ofrecen generalización pero pueden alucinar o perder relevancia contextual.
3. Decodificación Guiada por Trie Adaptativa (La Contribución Principal):
   • Mecanismo: En lugar de imponer restricciones duras (hard constraints), el sistema aplica una penalización suave (soft penalty) a los logits del modelo durante la decodificación.
   • Funcionamiento: Si un token no existe en el Trie relevante (global o del documento), se resta un valor de sesgo (bias) a su probabilidad.
   • Adaptabilidad: El sesgo se reduce dinámicamente (annealing) a medida que aumenta la longitud del prefijo y la profundidad del haz (beam search), controlado por hiperparámetros ($\alpha, \beta$). Esto permite que el modelo siga el Trie al inicio pero tenga flexibilidad para adaptarse al contexto a medida que avanza la generación.
   • Manejo de Tokenización: Se resuelve la discrepancia entre la tokenización a nivel de subpalabra (modelo) y el Trie a nivel de caracteres mediante la inserción de un token separador único ([SEP_SPLIT]) para evitar coincidencias redundantes.

C. Representación del Contexto
Se exploraron diversas formas de inyectar el contexto del documento en el modelo:

• Solo prefijo.
• Título + URL.
• Resumen, frases clave (Keyphrases) extraídas con YAKE, o texto truncado.
• RAG (Retrieval-Augmented Generation): Recuperación de fragmentos relevantes del documento usando BM25 (disperso) o vectores densos (FAISS/Embeddings) para alimentar al modelo.

3. Contribuciones Clave

1. Formalización de DocQAC: Definición clara de la tarea como un problema de optimización condicional restringida ("closed-world"), distinta de la optimización global de WebQAC.
2. Marco de Decodificación Adaptativa: Desarrollo de un método que guía a modelos pequeños (T5, BART) hacia completados de alta calidad sin añadir parámetros al modelo, resolviendo el problema de "deriva generativa" (hallucinaciones) de los LLMs estándar.
3. Eficiencia y Rendimiento: Demostración de que modelos pequeños guiados superan a modelos grandes (3B+ parámetros) en escenarios específicos, ofreciendo una solución escalable y de baja latencia.
4. Dataset y Código Abierto: Lanzamiento del benchmark DocQAC derivado de ORCAS y el código fuente para fomentar la investigación futura.

4. Resultados Experimentales

• Rendimiento General:
  • En escenarios SS (Seen-Seen), los Tries de consultas del documento (DocQ Tries) obtienen los mejores resultados en recuperación (MRR), pero el enfoque Guiado por Trie con BART supera a todos en la métrica de ESF (Typing Effort Saved), que mide la reducción real de tecleo.
  • En escenarios US y UU (Unseen), los modelos grandes (LLaMA-3.2, Phi-3.5) tienen ventaja por su capacidad generativa, pero los modelos guiados (T5/BART) siguen siendo competitivos y mucho más eficientes.
• Comparativa con LLMs Grandes:
  • Los modelos T5-Small y BART-Base guiados superan consistentemente a LLaMA-3.2 (3B) y Phi-3.5 (3B) en métricas de precisión y relevancia en el conjunto SS, siendo ~52x y ~23x más pequeños, respectivamente.
  • La decodificación guiada mejora el MRR en un 48% y el ahorro de tecleo en un 19% para BART en comparación con su versión no guiada.
• Análisis de Latencia:
  • Los modelos guiados añaden una latencia mínima (aprox. 8-13 ms) sobre sus versiones no guiadas.
  • Siguen siendo ~15 veces más rápidos que los LLMs grandes, lo que los hace viables para despliegue en tiempo real en aplicaciones de búsqueda dentro de documentos.
• Métricas: Se evaluaron MRR, nDCG, BLEU, SBMRR (coincidencia semántica), PPN/PRN (precisión/record parcial) y TES (Typing Effort Saved). El TES fue crucial para validar la utilidad práctica del sistema.

5. Significado e Impacto

El trabajo demuestra que no es necesario escalar el tamaño del modelo para lograr un autocompletado de alta calidad en dominios específicos. La combinación de modelos neuronales eficientes con estructuras de control clásicas (Tries) mediante una guía adaptativa suave ofrece el mejor equilibrio entre:

• Precisión: Evitar alucinaciones y mantenerse fiel al contenido del documento.
• Generalización: Capacidad de sugerir términos nuevos basados en el contexto.
• Eficiencia: Baja latencia y bajo costo computacional, esencial para integraciones en herramientas como Adobe Acrobat, IDEs o sistemas de gestión documental empresarial.

En conclusión, DocQAC establece un nuevo estado del arte para la búsqueda dentro de documentos, proponiendo una arquitectura práctica que prioriza la relevancia contextual y la eficiencia operativa sobre el simple aumento de la capacidad del modelo.