Resumen Técnico: Control del Presupuesto en Tiempo de Inferencia para Agentes de Búsqueda con LLM

1. Formulación del Problema

El artículo aborda el desafío de desplegar agentes de búsqueda con Modelos de Lenguaje de Gran Escala (LLM) bajo presupuestos duales explícitos y rígidos: un límite en las llamadas a herramientas ($B_{tool}$) y un límite en los tokens de salida ($B_{tok}$). Mientras que trabajos anteriores han explorado la escalabilidad en tiempo de prueba mediante muestreo repetido o auto-refinamiento, estos enfoques a menudo tratan la capacidad de cómputo como un recurso exclusivo de tokens. Para los agentes de búsqueda, sin embargo, un presupuesto adicional puede conducir a recuperaciones redundantes, ramificación desperdiciada y un crecimiento frágil del contexto si no se gestiona explícitamente.

El problema central se formula como un problema de control en tiempo de inferencia de dos etapas:

1. Asignación de Acciones en Tiempo de Búsqueda: En cada paso, el agente debe decidir cómo asignar el presupuesto dual restante entre acciones heterogéneas: recuperar evidencia (BUSCAR), descomponer la pregunta (DESCOMPONER) o comprometerse con una respuesta (RESPONDER). Estas acciones difieren en costo y retorno potencial, y la elección óptima depende del estado actual de la evidencia y del presupuesto restante.
2. Finalización en Tiempo de Respuesta: Una vez que la búsqueda termina, el agente debe decidir si mantener la respuesta base de la trayectoria ($a_{base}$) o reemplazarla por un candidato refinado ($a_{ref}$). Esta decisión debe equilibrar la ganancia potencial en exactitud frente al riesgo de "daño por intervención"—borrar estructuras puente correctas o alterar semánticas comparativas mediante reescrituras innecesarias.

El objetivo es maximizar la recompensa esperada $E[R(\hat{a}, y)]$ sujeta a las restricciones de presupuesto dual y a una restricción sobre el daño esperado por el reemplazo de respuestas ($E[L_{harm}] \leq \rho_{harm}$).

2. Metodología

El método propuesto, VOI (Valor de la Información), es un controlador de dos etapas sin entrenamiento, construido sobre una columna vertebral genérica de búsqueda en árbol (inspirada en BAVT).

Etapa 1: Asignación de Presupuesto en Tiempo de Búsqueda

El controlador selecciona la siguiente acción puntuando las opciones factibles mediante una puntuación VOI a nivel de tarea. Esta puntuación es una estimación operativa del valor marginal de la tarea por unidad de presupuesto, distinta de la ganancia de información de Shannon o de modelos de valor aprendidos.

• Construcción de Utilidad: Para cada acción $k$, se calcula una utilidad a nivel de tarea $u_t(k)$ como:
  $$u_t(k) = \hat{\Delta}_t(k) + \Psi_t(k) - \Pi_t(k; b_t)$$
  • $\hat{\Delta}_t(k)$: Una señal de progreso derivada de un crítico.
  • $\Psi_t(k)$: Señales estructurales (por ejemplo, estructura puente, presión de bucle, preparación).
  • $\Pi_t(k; b_t)$: Un término de penalización dependiente del presupuesto que aumenta para las acciones BUSCAR y DESCOMPONER cuando el presupuesto restante es ajustado, actuando como un proxy del costo sombra del oráculo.
• Normalización y Guardias: La utilidad se normaliza mediante una escala de presupuesto específica de la acción para producir la puntuación VOI $r_t(k)$. Un operador de guardia determinista $G_t$ ajusta luego esta puntuación para imponer comportamientos conservadores (por ejemplo, suprimir respuestas prematuras, imponer una búsqueda mínima para preguntas compuestas).
• Selección: Se selecciona y ejecuta la acción con la puntuación ejecutable guardada más alta.

Etapa 2: Finalización en Tiempo de Respuesta

Una vez concluida la búsqueda, un finalizador selectivo y fundamentado en la evidencia evalúa si reescribir la respuesta.

• Compensación Ganancia-Riesgo: El finalizador compara la respuesta base $a_{base}$ y un candidato refinado $a_{ref}$ (construido a partir de la misma traza). Interviene solo si la ganancia esperada en exactitud supera el riesgo de dañar la respuesta.
• Conjunto Seguro ($S_{safe}$): La reescritura se restringe a escenarios de bajo riesgo, como corregir la polaridad sí/no, elecciones binarias, desajustes de slots tipados o completar hechos soportados.
• Abstención: El sistema se abstiene de reescribir si la trayectoria contiene estructuras puente sin resolver, semánticas comparativas o falta de soporte directo, ya que la reescritura agresiva en estos casos a menudo perjudica la corrección.
• Cero Sobrecarga: Esta etapa no añade nuevas llamadas a herramientas ni llamadas de inferencia a LLM; es una política de selección determinista sobre candidatos existentes.

3. Contribuciones Clave

1. Formulación de Dos Etapas: El artículo formaliza la inferencia consciente del presupuesto en agentes de búsqueda con LLM como un problema acoplado de asignación de acciones en tiempo de búsqueda y finalización de respuestas controlada por riesgo bajo presupuestos duales rígidos.
2. Control VOI a Nivel de Tarea: Introduce un puntuador sin entrenamiento que clasifica las acciones basándose en el valor marginal estimado de la tarea por unidad de presupuesto, incorporando penalizaciones dependientes del presupuesto y señales estructurales sin aprender un modelo de valor.
3. Finalización Controlada por Riesgo: Propone un selector de respuestas conservador que interviene solo para errores locales de forma de respuesta, evitando explícitamente la destrucción de caminos de razonamiento multi-salto correctos.
4. Validación Empírica: El método se evalúa en cuatro benchmarks de preguntas y respuestas multi-salto (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle), tres columnas vertebrales de LLM (Qwen3-32B, Qwen3.5-122B, GPT-5.4-Mini) y cuatro niveles de presupuesto bajo una auditoría estricta y compartida de presupuesto rígido.

4. Resultados Experimentales

• Ganancias Agregadas: VOI produce ganancias agregadas positivas sobre cuatro líneas base auditadas (BAVT, BATS, AFlow, Search-o1) en los entornos probados. En Qwen3-32B, logra la mejor F1 en 7 de 16 celdas de conjunto de datos-presupuesto y empatada como la mejor en otras 2, superando a las líneas base en 14/16, 10/16, 16/16 y 15/16 celdas respectivamente.
• Sensibilidad al Presupuesto: Las mejoras más significativas ocurren en regímenes de presupuesto bajo y medio-bajo, donde una asignación cuidadosa de acciones es crítica para evitar agotar los recursos en acciones de bajo rendimiento.
• Ablación de Componentes:
  • Control en Tiempo de Búsqueda: Eliminar el término de penalización dependiente del presupuesto causa la mayor caída de rendimiento, confirmando que la asignación de acciones consciente del presupuesto es el principal motor de las ganancias.
  • Finalización: La Etapa 2 (finalización) proporciona ganancias significativas (hasta el 41.9% de la ganancia total en MuSiQue) principalmente cuando la trayectoria de búsqueda es adecuada pero contiene errores locales de forma de respuesta. Contribuye menos en conjuntos de datos donde los errores son estructurales (por ejemplo, MuSiQue).
• Eficiencia: El controlador VOI reduce el tiempo medio de inferencia en un 27.2% en promedio en comparación con BAVT, ya que evita operaciones de bajo valor que de otro modo consumirían el presupuesto.

5. Significado y Afirmaciones

El artículo afirma que el control del presupuesto en tiempo de inferencia es esencial para los agentes de búsqueda con LLM, gobernando tanto cómo se gasta el presupuesto durante la búsqueda como cómo se compromete la respuesta final.

• Escalabilidad No Monótona: Los resultados demuestran que presupuestos más grandes no siempre producen mejores respuestas; sin control explícito, los presupuestos aumentados pueden conducir a búsquedas redundantes y finalizaciones más ruidosas.
• Condiciones de Límite: La efectividad del método no es uniforme. Muestra rendimientos decrecientes en columnas vertebrales más fuertes (por ejemplo, Qwen3.5-122B) y en regímenes de alto presupuesto donde líneas base como BATS permanecen competitivas.
• Seguridad y Desplegabilidad: Al modelar explícitamente el riesgo de reemplazo de respuestas e imponer auditorías de presupuesto rígidas, el enfoque hace que el comportamiento del agente sea más predecible e inspeccionable, lo cual es crucial para el despliegue en entornos con restricciones de costos o sensibles a la latencia.

Los autores enfatizan que su método no afirma la optimalidad global del árbol de búsqueda, sino que proporciona un mecanismo de control local a nivel de decisión que mejora significativamente el rendimiento bajo restricciones estrictas de recursos.