WebExpert: domain-aware web agents with critic-guided expert experience for high-precision search

Each language version is independently generated for its own context, not a direct translation.

¡Hola! Imagina que tienes un detective privado llamado "WebExpert". Su trabajo es buscar respuestas en internet para resolver preguntas muy difíciles, especialmente en temas complicados como finanzas, medicina o leyes.

El problema con los detectives normales (los agentes web actuales) es que a veces se pierden. Si les preguntas algo sobre "cómo invertir en China en 2024", pueden buscar información genérica, leer páginas que no sirven, o confundir las reglas de un país con las de otro. Se vuelven lentos y a veces dan respuestas incorrectas.

WebExpert es diferente. Es como si a ese detective le hubieran dado un manual de instrucciones secreto escrito por los mejores expertos del mundo antes de salir a investigar.

Aquí te explico cómo funciona, paso a paso, con analogías sencillas:

1. El "Manual de Experiencia" (La Base de Conocimiento)

En lugar de empezar desde cero cada vez, WebExpert tiene una biblioteca de reglas extraídas de expertos.

La analogía: Imagina que quieres aprender a cocinar un plato complejo. Un novato prueba y falla muchas veces. WebExpert, en cambio, tiene un libro de recetas donde un chef experto ya escribió: "Si usas sal en este plato, no añadas limón, o se arruina".
Cómo lo hace: El sistema toma miles de preguntas y respuestas reales de expertos, las agrupa por temas (como "inversión" o "medicina") y las convierte en reglas cortas y claras. Si hay dos expertos que dicen cosas opuestas, el sistema actúa como un juez sabio para decidir cuál es la verdad o añadir una nota de precaución.

2. El "Filtro de Lupa" (Inducción de Facetas)

Cuando WebExpert va a buscar algo, no lanza una pregunta al azar. Primero se pregunta: "¿Qué detalles específicos necesito?".

La analogía: Si buscas un hotel, no buscas solo "hotel". Buscas "hotel en Madrid, para junio, con piscina".
Cómo lo hace: El sistema identifica automáticamente los "filtros" importantes: ¿Es un tema de tiempo? ¿De región? ¿De política? ¿De industria? Esto evita que el detective pierda tiempo leyendo páginas de 2010 cuando necesitas datos de 2024, o leyendo leyes de México cuando necesitas las de España.

3. El "Planificador con Asistente" (Búsqueda Guiada)

Aquí es donde ocurre la magia antes de empezar a navegar.

La analogía: Antes de salir de casa, el detective consulta su manual. Si el manual dice "Cuidado con las estafas en inversiones de criptomonedas", el detective planeará su ruta para evitar sitios sospechosos y buscará directamente en fuentes oficiales.
Cómo lo hace:
1. Recupera: Busca en su "manual" las reglas que aplican a tu pregunta.
2. Confianza: Si el manual le da mucha seguridad, usa esas reglas para escribir una pregunta de búsqueda muy precisa. Si el manual no tiene mucha información, vuelve a ser un detective normal para no limitarse demasiado.
3. Navega: Con esa pregunta perfecta, va a internet, salta menos páginas y encuentra la respuesta mucho más rápido.

4. El "Entrenamiento" (Aprendizaje)

WebExpert no solo lee el manual; estudia cómo usarlo.

La analogía: Es como un estudiante que no solo lee el libro de texto, sino que hace ejercicios prácticos con un profesor que le dice: "Esa búsqueda fue buena, pero la siguiente podrías haber sido más específica".
Cómo lo hace: El sistema se entrena miles de veces para aprender a combinar la información del manual con sus propias búsquedas, mejorando su precisión con cada intento.

¿Por qué es importante esto?

Los resultados muestran que WebExpert es mucho mejor que los buscadores actuales:

Más preciso: Da la respuesta exacta correcta (mejoró entre un 1.5% y un 3.6% en pruebas difíciles, lo cual es mucho en este mundo).
Más rápido: Salta menos páginas web (como si en lugar de visitar 8 tiendas, solo tuviera que entrar a 2).
Más inteligente: No se pierde en información basura; va directo a lo que importa.

En resumen: WebExpert es como darle a un buscador de internet un cerebro de experto y una brújula que le dicen exactamente dónde mirar y qué ignorar, evitando que se pierda en el vasto océano de internet. ¡Es como tener a un especialista en tu bolsillo listo para resolver cualquier duda!

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo "WebExpert: Domain-Aware Web Agents with Critic-Guided Expert Experience for High-Precision Search" en español:

1. Planteamiento del Problema

Las tareas web especializadas en dominios críticos como finanzas, biomedicina y farmacéutica presentan desafíos significativos para los agentes web genéricos. Los problemas principales incluyen:

Falta de priores de dominio: Los agentes carecen de conocimiento experto, lo que provoca que formulen consultas desviadas (off-target), se pierdan en páginas irrelevantes y fallen al identificar la evidencia crucial.
Ruido y fragilidad: La evidencia encontrada suele ser ruidosa y el razonamiento de los agentes genéricos es frágil ante matices contextuales como estacionalidad, regulaciones regionales o granularidad específica del sector.
Ineficiencia: Los agentes genéricos realizan demasiados "saltos de página" (page hops) y desperdician tokens en búsquedas sin fundamento.

2. Metodología: WebExpert

WebExpert es un agente web consciente del dominio que integra un módulo de experiencia experta antes de la navegación profunda. Su arquitectura se basa en un pipeline de tres pasos y un mecanismo de inferencia condicional:

A. Extracción de Experiencia Expertas Guiada por Críticos (Offline)

El sistema construye una base de conocimientos a partir de pares de preguntas-respuestas (QA) y materiales expertos mediante:

Recolección y Canonalización: Normalización de preguntas y extracción de intenciones canónicas.
Agrupación Multi-vista: Uso de clustering denso (HDBSCAN/BERTopic) para agrupar QA semánticamente similares, incluso si las respuestas difieren en granularidad.
Agregación y Deduplicación: Consolidación de respuestas y citas, eliminando redundancias y ruido mediante funciones de relevancia (BM25, MMR).
Resumen Consciente de Contradicciones: Un modelo de razonamiento (DeepSeek-R1) genera reglas concisas que incluyen condiciones, guía central, casos límite y modos de fallo, filtrando contradicciones.
Facetización y Normalización: Extracción automática de facetas clave (tiempo, región, política, industria) sin depender de léxicos manuales estáticos, utilizando estadísticas del corpus y LLMs.
Actualización Continua: La base de experiencias se mantiene como un almacén versionado con fusiones locales.

B. Inferencia y Planificación

Durante la ejecución, WebExpert sigue un flujo condicional:

Recuperación de Experiencia: Se recuperan las $k$ experiencias más relevantes ( $E^{(k)}$ ) para la consulta $q$ mediante similitud de coseno.
Generación de Consultas Ancladas al Dominio: Un "puerta de experiencia" (experience gate) sesga la decodificación del LLM hacia las facetas activas recuperadas. Si la confianza de recuperación es baja (umbral $\theta=0.3$ ), el sistema hace fallback a la generación de consultas genérica para evitar restricciones excesivas.
Navegación Profunda: El plan de consultas se envía a un controlador de búsqueda que alterna entre recuperación y razonamiento para sintetizar la respuesta final.

C. Entrenamiento y Optimización

Se realiza un Ajuste Fino Supervisado (SFT) en el modelo QwQ-32B con tres objetivos conjuntos:

Objetivo de Planificación ( $L_{plan}$ ): Penaliza tokens que no activan indicadores de facetas recuperadas y favorece aquellos que sí lo hacen.
Objetivo de Recuperación ( $L_{ret}$ ): Optimización contrastiva para alinear la consulta con experiencias positivas ( $r^+$ ) y alejarla de negativos duros ( $r^-$ ).
Optimización de Preferencias: Se utilizan pares alineados para mejorar la precisión en la selección de reglas y la cobertura de facetas.

3. Contribuciones Clave

Cadena de Extracción Guiada por Críticos: Un pipeline que convierte datos anotados en reglas de experiencia a nivel de oración, fusionadas en reglas concisas generalizables.
Pipeline Práctico de Extracción: Integración de técnicas de embedding denso, clustering (UMAP, HDBSCAN) y distilación de reglas (BERTopic) para crear una base de experiencia escalable.
Inducción de Facetas Ligera a Esquemas: Generación automática de vocabularios de facetas (tiempo, región, etc.) a partir de supervisión débil y estadísticas, reduciendo la dependencia de esquemas manuales.
Planificación Condicionada a la Experiencia: Un enfoque de SFT y optimización de preferencias que mejora la precisión más allá de los métodos RAG (Generación Aumentada por Recuperación) genéricos.
Rendimiento Superior: Demostración de mejoras consistentes en métricas de precisión y eficiencia en múltiples benchmarks.

4. Resultados Experimentales

El modelo se evaluó en los conjuntos de datos GAIA, GPQA, HLE y WebWalkerQA.

Precisión (Exact Match - EM): WebExpert superó a la línea base de navegación más fuerte (Search-o1-32B y WebThinker) en un 1.5% a 3.6% en EM.
- Ejemplo en GAIA: WebExpert+SFT alcanzó un 47.7% de EM frente al 44.7% de WebThinker-Base.
- Ejemplo en GPQA: Mejoró de 68.7% a 71.9%.
Eficiencia: Reducción significativa en los "saltos de página" (page hops), bajando de 8.1 a 5.2 en promedio, lo que indica una navegación más directa y menos exploración errónea.
Calidad de la Consulta: La precisión de las consultas (QP@3) aumentó del 49.3% (WebThinker) al 61.8% (WebExpert+SFT).
Estudios de Ablación: Se demostró que los componentes más críticos son las incrustaciones a nivel de oración, la fusión de temas (topic merging) y el SFT. La recuperación de las 5 mejores experiencias ($top-k=5$) ofreció el mejor equilibrio entre precisión y cobertura.

5. Significado e Impacto

WebExpert representa un avance significativo en la interacción agente-web para dominios especializados.

Superación del RAG Genérico: Demuestra que inyectar priores expertos estructurados (reglas a nivel de oración) antes de la búsqueda es más efectivo que simplemente recuperar documentos pasivamente.
Adaptabilidad: La capacidad de inducir facetas sin esquemas rígidos permite que el sistema se adapte a nuevos dominios (finanzas, medicina, etc.) sin reescribir léxicos manuales.
Eficiencia Operativa: Al reducir la cantidad de páginas visitadas y mejorar la relevancia de las consultas, el sistema es más rápido y consume menos recursos computacionales, lo cual es crucial para aplicaciones en producción.
Reproducibilidad: El código está disponible públicamente, fomentando la investigación en agentes web conscientes del dominio.

En resumen, WebExpert establece un nuevo estado del arte para tareas de búsqueda web complejas al combinar la capacidad de razonamiento de los LLMs con una base de conocimientos experta estructurada y dinámicamente recuperada.