💬 NLP

Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

Este artículo analiza 14,44 millones de solicitudes de búsqueda con agentes del mundo real procedentes de DeepResearchGym para revelar patrones conductuales clave, como las distribuciones de la duración de las sesiones, las estrategias de exploración dependientes de la intención y la fuerte trazabilidad léxica de las reformulaciones de consultas hacia la evidencia recuperada, ofreciendo finalmente señales accionables para optimizar el diseño de agentes de búsqueda.

Autores originales: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Publicado 2026-04-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jingjie Ning, João Coelho, Yibo Kong, Yunfan Long, Bruno Martins, João Magalhães, Jamie Callan, Chenyan Xiong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una biblioteca masiva y bulliciosa donde, en lugar de lectores humanos, trabajan miles de bibliotecarios robots. Estos robots están impulsados por una IA avanzada. Su trabajo no es solo encontrar un libro; tienen la tarea de resolver acertijos complejos. Para lograrlo, no solo piden un libro una vez. Piden, leen la respuesta, hacen una pregunta de seguimiento basada en lo que acaban de leer, vuelven a leer y continúan así hasta que creen tener el panorama completo.

Este artículo es un estudio de observación masivo de estos bibliotecarios robots. Los investigadores analizaron más de 14 millones de solicitudes de búsqueda (aproximadamente 4 millones de "conversaciones" o sesiones) de un sistema público llamado DeepResearchGym. Quisieron entender: ¿Qué están intentando hacer estos robots y cómo cambian sus preguntas a medida que avanzan?

Aquí tienes un desglose de sus hallazgos utilizando analogías simples:

1. La "Lista de la Compra" vs. El "Detective" (Intención)

Los investigadores descubrieron que los robots caen en tres tipos principales de personalidad, o "intenciones", que cambian cómo buscan:

El Buscador de Hechos (Declarativo): Este robot solo quiere un hecho específico, como "¿Quién es el dueño de esta empresa de snacks?".
- Comportamiento: Tiende a quedarse atrapado en un bucle. Si no encuentra la respuesta de inmediato, sigue haciendo la misma pregunta o versiones ligeramente modificadas de la misma (como una persona que llama a una puerta y grita la misma pregunta una y otra vez).
La Guía de "Cómo Hacerlo" (Procedimental): Este robot quiere saber cómo hacer algo, como "¿Cómo arreglo un grifo que gotea?".
- Comportamiento: Hace preguntas más largas y detalladas y profundiza más en las "estanterías de la biblioteca" (recupera más documentos) para obtener un conjunto completo de instrucciones.
El Detective (Razonamiento): Este robot tiene un acertijo complejo, como "¿Por qué es caro el gas?".
- Comportamiento: Es el más aventurero. No se limita a un solo ángulo; salta entre diferentes temas (facetas) para conectar los puntos. Explora ampliamente en lugar de solo profundizar en un solo lugar.

2. El Hábito de "Perforar hacia Abajo"

Uno de los descubrimientos más grandes es que estos robots tienen un fuerte hábito de acercar la vista en lugar de alejarla.

Imagina que estás mirando un mapa. La mayor parte del tiempo, estos robots toman una vista amplia y luego inmediatamente hacen zoom en una calle diminuta para buscar detalles. Rara vez se alejan para decir: "Espera, quizás estoy mirando la ciudad equivocada por completo".

El Sesgo de "Perforar hacia Abajo": Aproximadamente entre el 36% y el 48% de las veces, simplemente cambian a un ángulo ligeramente diferente del mismo tema.
La Rareza de "Alejar la Vista": Solo alrededor del 9% de las veces amplían realmente su búsqueda para observar el panorama general. Cuando lo hacen, casi inmediatamente vuelven a hacer zoom hacia adentro. Es como echar un vistazo rápido a todo el mapa antes de volver a enfocarse inmediatamente en una sola calle.

3. El Efecto "Cámara de Eco" (Repetición)

El estudio encontró que el 90% de estas conversaciones de robots son cortas (10 pasos o menos) y ocurren muy rápido (a menudo en menos de un minuto entre preguntas).

Sin embargo, para los Buscadores de Hechos, hay un problema. A medida que avanza la conversación, comienzan a repetirse más y más. Para el noveno paso, casi la mitad de sus preguntas son casi idénticas a las anteriores. Es como una persona que olvidó que ya hizo una pregunta, o que está atrapada en un bucle tratando de obtener la misma respuesta desde un ángulo diferente sin éxito.

4. La Prueba de "Adopción de Términos" (¿Realmente leyeron?)

Los investigadores quisieron saber: Cuando el robot hace una nueva pregunta, ¿realmente utiliza la información que acaba de encontrar?

Dado que no podían ver el "cerebro" interno (memoria) del robot, inventaron una prueba ingeniosa llamada CTAR (Tasa de Adopción de Términos Impulsada por el Contexto).

La Analogía: Imagina a un detective leyendo una pista que dice "El sospechoso llevaba un sombrero rojo". Si la siguiente pregunta del detective es "¿Quién llevaba un sombrero rojo?", están "adoptando" el término.
El Resultado: Los investigadores descubrieron que el 54% de las nuevas palabras que los robots usaron en sus siguientes preguntas provenían directamente del texto que acababan de leer.
La Trampa: Esto no significa que el robot comprendiera el texto perfectamente, solo que las palabras estaban allí. Es como un loro repitiendo palabras que escuchó, en lugar de un humano pensando profundamente en ellas. Pero prueba que los robots están al menos mirando la evidencia que recuperaron.

5. El Problema del "Presupuesto Fijo"

Se les dio a los robots un "presupuesto" para cuántos documentos leer por pregunta (por ejemplo, leer 5 páginas, o 10 páginas).

El Hallazgo: La mayoría de los robots trataron este presupuesto como una configuración codificada. No lo cambiaron según la tarea. Ya sea que estuvieran buscando un hecho simple o resolviendo un misterio complejo, se mantuvieron mayormente en el mismo número de páginas. No parecían darse cuenta de que un misterio complejo podría necesitar que leyeran más páginas que un hecho simple.

Resumen

Este artículo es como un informe de tráfico para los agentes de búsqueda de IA. Nos dice que:

La mayoría de las búsquedas son cortas y rápidas.
Los robots se quedan atrapados en bucles cuando buscan hechos simples.
Prefieren hacer zoom en los detalles en lugar de alejarse y observar el panorama general.
Sí captan palabras de lo que leen, pero a menudo se adhieren a un "presupuesto de lectura" rígido, independientemente de lo difícil que sea la tarea.

Los autores publicaron estos datos para que otros investigadores puedan construir mejores "controladores de tráfico" que ayuden a estos robots a salir de los bucles, explorar más y utilizar su presupuesto de lectura de manera más sabia.

1. Planteamiento del Problema

La comunidad de Recuperación de Información (RI) carece de una comprensión empírica de cómo opera la búsqueda agente potenciada por LLM en escenarios del mundo real. Aunque existen puntos de referencia, estos no revelan:

Cómo los agentes evolucionan sus consultas a través de sesiones de múltiples pasos.
Cómo la evidencia recuperada influye en las reformulaciones de consultas posteriores.
Cómo difieren los comportamientos de búsqueda según la intención subyacente del usuario (por ejemplo, búsqueda de hechos frente a razonamiento).
Si los agentes utilizan eficazmente el contexto o caen en bucles repetitivos.

Los registros actuales carecen de señales de retroalimentación implícita (como clics) encontradas en la búsqueda humana, creando una "brecha de medición" donde es difícil determinar si un agente está utilizando con éxito la evidencia recuperada o simplemente alucinando o repitiendo.

2. Conjunto de Datos e Infraestructura

Los autores analizan datos de DeepResearchGym (DRGym), una API de búsqueda de código abierto y agnóstica al modelo a la que acceden clientes agentes externos.

Escala: 14,44 millones de solicitudes de búsqueda recopiladas durante seis meses (junio–diciembre de 2025).
Sesiones: Preprocesadas en 3,97 millones de sesiones.
Diversidad: Los registros cubren 25 países (principalmente China y EE. UU.) y exhiben una alta diversidad semántica (baja similitud coseno promedio entre consultas), lo que indica que no están dominados por unas pocas tareas de referencia o prompts repetitivos.
Privacidad: Las direcciones IP están anonimizadas; los prompts y la memoria del lado del cliente no se registran, lo que significa que el análisis se basa estrictamente en rastros a nivel de API (consultas, parámetros, marcas de tiempo y evidencia devuelta).

3. Metodología

Los autores proponen un marco de medición de tres componentes para analizar la estructura de la sesión y la evolución de la consulta:

A. Sesionización

A diferencia de los registros humanos que utilizan intervalos de tiempo fijos, las solicitudes de agentes pueden llegar en ráfagas paralelas rápidas. Los autores desarrollaron un criterio de continuidad semántica combinado con un corte temporal rígido de 10 minutos:

Entrenaron un modelo de continuidad semántica (MLP con incrustaciones de Qwen3) para puntuar pares de consultas.
Las consultas se asignan a la sesión activa más semánticamente continua si la puntuación supera un umbral; de lo contrario, comienza una nueva sesión.

B. Etiquetado de Intención y Trayectoria (LLM como Juez)

Utilizando gpt-5-nano, los autores anotaron los datos en dos niveles:

Intención a Nivel de Sesión: Clasificada en tres categorías basadas en el modelado de objetivos de búsqueda web:
- Declarativa: Recuperación de hechos (por ejemplo, "¿Quién posee X?").
- Procedimental: Ejecución de métodos (por ejemplo, "¿Cómo reparar Y?").
- Razonamiento: Síntesis compleja (por ejemplo, "¿Por qué está ocurriendo Z?").
Reformulación a Nivel de Trayectoria: Clasificación de pares de consultas adyacentes ( $q_k \to q_{k+1}$ $q_{k} \to q_{k + 1}$ ) en cuatro tipos:
- Especialización: Restricción de limitaciones.
- Generalización: Ampliación de limitaciones.
- Exploración: Cambio a una faceta relacionada.
- Repetición: Reformulaciones casi duplicadas.

C. Tasa de Adopción de Términos Impulsada por Contexto (CTAR)

Para medir la trazabilidad de la evidencia sin acceso a la atención interna del agente, los autores introdujeron CTAR.

Definición: La fracción de términos recién introducidos en una consulta ( $q_{k+1}$ ) que aparecen léxicamente en la evidencia recuperada de pasos anteriores.
Contextos:
- Último paso: Términos rastreados hasta la recuperación inmediatamente precedente ( $E_k$ ).
- Agregado: Términos rastreados hasta la unión de toda la evidencia recuperada hasta el momento ( $\bigcup E_i$ ).
Significado: Esto proporciona una métrica conservadora e interpretable sobre si un agente está incorporando información recuperada en su siguiente consulta, distinta de la parafraseo semántico.

4. Resultados Clave

Estructura y Dinámica de Sesiones

Longitud: Más del 90% de las sesiones de múltiples vueltas contienen como máximo 10 pasos.
Velocidad: El 89% de los intervalos entre pasos es inferior a un minuto, lo que indica bucles iterativos rápidos en comparación con la búsqueda humana.
Profundidad de Recuperación: La mayoría de los agentes tratan el número de documentos recuperados ( $K$ ) como un parámetro estático (principalmente $K \in \{1, 5, 10\}$ ), con solo el 1,35% de las sesiones variando $K$ a través de los pasos.

Comportamientos Condicionados por Intención

Declarativa (88,6% de las sesiones): Exhibe la mayor repetición (bucles casi duplicados), que aumenta con el tiempo. Utilizan recuperación superficial pero requieren más iteraciones.
Procedimental (3,96%): Utiliza una recuperación más profunda ( $K \approx 37$ ) y muestra progresiones semánticamente estables con menos pasos de refinamiento.
Razonamiento (7,41%): Mantiene la exploración más amplia (cambio de enfoque) y muestra la mayor deriva semántica entre la primera y la última consulta.

Dinámicas de Trayectoria

Sesgo de Profundización: Los agentes favorecen abrumadoramente la Especialización y la Exploración. La Generalización (ampliación) es el movimiento menos utilizado (<11%) y a menudo actúa como un breve "reinicio" antes de reespecializarse.
Estabilidad vs. Rotación: La Repetición mantiene una alta superposición de resultados (~~78%), mientras que la Exploración causa una gran rotación de evidencia (~~7% de superposición).
Bucles: Las sesiones declarativas entran con frecuencia en bucles de "reintento" de alta estabilidad (repitiendo consultas similares) en pasos posteriores, lo que sugiere posibles bloqueos.

Trazabilidad de la Evidencia (CTAR)

Adopción General: En promedio, el 54,35% de los términos de consulta recién introducidos son léxicamente trazables al contexto de evidencia agregada.
Efecto de Recencia: El contexto del último paso representa el 48,54% de la adopción. La diferencia (~5,8%) indica que los agentes también utilizan evidencia de pasos anteriores al inmediatamente previo.
Variación por Movimiento:
- Especialización: CTAR alto (~78%), lo que indica que los nuevos términos se extraen directamente de la evidencia reciente.
- Repetición: CTAR bajo (~21%), lo que sugiere que los agentes están reintentando sin incorporar nuevos términos léxicos de la evidencia.

5. Contribuciones Clave

Caracterización de Comportamiento a Gran Escala: El primer análisis de la búsqueda agente a la escala de más de 14 millones de solicitudes, revelando que los agentes operan en bucles cortos y rápidos con presupuestos de recuperación estáticos.
Métrica CTAR: Una métrica novedosa e interpretable para cuantificar la evolución de consultas condicionada por la evidencia sin requerir acceso a estados internos del agente o umbrales de similitud semántica.
Insights Adaptativos a la Intención: Demostró que las estrategias de búsqueda (repetición frente a exploración) dependen en gran medida de la intención de la tarea, desafiando la noción de un proceso de búsqueda agente uniforme.
Datos Abiertos: Liberación de los registros anonimizados de DRGym y protocolos de análisis al público a través de HuggingFace.

6. Significado e Implicaciones

Los hallazgos proporcionan señales accionables para diseñar mejores sistemas de RI agente:

Detención Consciente de la Repetición: Las altas tasas de repetición en tareas declarativas sugieren la necesidad de controladores que detecten "bucles de bloqueo" y activen cambios de estrategia (por ejemplo, forzar la exploración o revisión humana).
Presupuestación Adaptativa a la Intención: Dado que las tareas procedimentales se benefician de una recuperación más profunda mientras que las tareas declarativas dependen de la iteración, los sistemas deben ajustar dinámicamente la profundidad de recuperación ( $K$ ) según la intención detectada en lugar de usar parámetros fijos.
Seguimiento de Contexto entre Pasos: La trazabilidad medible hacia evidencia más antigua (más allá del último paso) sugiere que los módulos de gestión de contexto deben exponer explícitamente términos de evidencia histórica para ayudar a la formulación de consultas.
Diseño de Evaluación: CTAR ofrece una señal ligera y lista para auditoría para evaluar si los agentes están fundamentando eficazmente sus consultas en la evidencia recuperada, cerrando la brecha entre los registros de API y el razonamiento interno.

En conclusión, el artículo establece que, aunque la búsqueda agente es poderosa, actualmente exhibe comportamientos rígidos (presupuestos fijos, bucles repetitivos) que pueden optimizarse mediante políticas de control conscientes de la intención y mejores mecanismos de seguimiento de contexto.