Resumen Técnico: PANDO – Agentes de IA Multimodales Eficientes mediante Distilación de Habilidades en Línea

Declaración del Problema

Los avances recientes en agentes web multimodales han dependido en gran medida de una "economía de tokens" donde el rendimiento mejorado se adquiere mediante el aumento de los costos de inferencia. Esto incluye estrategias como la expansión de búsquedas de despliegue (por ejemplo, Best-of-N), la adición de pasos de verificación, la realización de descubrimiento de herramientas fuera de línea o la acumulación de modelos especialistas. Aunque efectivo para las puntuaciones de los benchmarks, este enfoque crea una relación lineal o superlineal entre el gasto de tokens y el éxito, lo que conduce a una alta latencia, consumo de energía y costos ocultos asociados con el descubrimiento previo a la evaluación.

Los autores identifican tres ineficiencias mecánicas específicas en las trayectorias actuales de los agentes en el benchmark VisualWebArena (VWA):

1. Bucles de acción repetida: Los agentes se quedan atrapados con frecuencia en bucles de acciones repetidas (34–42% de los fallos con anotación de imagen).
2. Costos de descubrimiento ocultos: Sistemas como WALT incurren en costos significativos de exploración fuera de línea que a menudo se excluyen de las métricas por tarea reportadas.
3. Ineficiencia de la arquitectura de prompts: Los métodos de texto/leyenda muestran una baja utilización de la caché de prompts (<11%), fallando en aprovechar los prefijos estables a medida que el agente acumula experiencia.

La pregunta central planteada es si un agente puede volverse más eficiente a medida que acumula experiencia, en lugar de pagar un "impuesto de razonamiento" fijo en cada tarea.

Metodología: El Marco PANDO

PANDO (nombrado así por el bosque de álamos Pando, un único sistema radicular que soporta muchos troncos) es un marco de distilación de habilidades en línea de un solo despliegue. Opera en un bucle Planificar → Actuar → Reflexionar → Aprender, diseñado para hacer crecer una Biblioteca de Habilidades estructurada durante la evaluación sin requerir un presupuesto de descubrimiento previo a la evaluación.

Componentes Principales

1. Biblioteca de Habilidades Estructurada ($S_t$):

   • La biblioteca es una unión disjunta de Reglas (guardarraíles deterministas activados por patrones) y Rutinas (habilidades de programa como acción parametrizadas y ejecutables).
   • Recuperación: A diferencia de la recuperación basada en incrustaciones, PANDO utiliza la contención literal de palabras clave para una recuperación determinista, auditable y amigable con la caché.
   • Gestión del Ciclo de Vida: La biblioteca no es estática; crece en línea. Las subtrayectorias exitosas se inducen en rutinas, mientras que las fallidas se rastrean.

2. Aprendizaje y Distilación:

   • Inducción: Después de una trayectoria exitosa, un Módulo de Aprendizaje extrae habilidades candidatas si poseen una plantilla de subobjetivo reutilizable y patrones de selector verificados.
   • Fusión de Pares de Polaridad: Para evitar la hinchazón de la biblioteca, las rutinas que difieren solo por dirección (por ejemplo, "más barato" vs. "más caro") se fusionan en una sola rutina parametrizada $f_{\pm}(x, d)$.
   • Degradación Basada en Confianza: Las habilidades mantienen estimaciones de confianza en ejecución ($c_s = \alpha_s / (\alpha_s + \beta_s)$). Si una habilidad falla repetidamente, se mueve a una lista negra de degradación, impidiendo que el agente redescubra y vuelva a fallar con rutinas frágiles.

3. Economía de Ejecución:

   • Enrutamiento Jerárquico: Un modelo potente (Planificador) se utiliza de forma dispersa para la descomposición y la reflexión. Un modelo más económico (Actor) maneja la anclaje de alta frecuencia.
   • Compresión Visual: Reduce la carga de tokens del término Actor dominante comprimiendo las entradas visuales.
   • Prompts Conscientes de la Caché: La disposición del prompt está estructurada para colocar instrucciones estables y resúmenes de habilidades antes de las observaciones volátiles, maximizando la utilización de la caché KV a medida que crece la biblioteca.

4. Descomposición de Costos:
   El artículo formaliza el costo del agente en cuatro términos aditivos:
   $$C(\pi; B) = \frac{C_{pre}}{|B|} + N_{rollout} C_{exec} + C_{verify} + C_{induce}$$
   PANDO apunta a $C_{pre}=0$ (sin descubrimiento fuera de línea), $N_{rollout}=1$ (un solo despliegue) y un pequeño $C_{induce}$ pagado estrictamente dentro del flujo de tareas, mientras minimiza $C_{exec}$ mediante la reutilización de habilidades.

Contribuciones Clave

1. Enfoque de Economía de Tokens: Los autores formalizan una identidad de costos que separa el descubrimiento previo a la evaluación, la escalabilidad del despliegue, la verificación y la inducción en línea, argumentando que los benchmarks actuales a menudo oscurecen estas distintas monedas de costos.
2. Marco de Aprendizaje de Habilidades Estructurado: PANDO integra reglas indexadas por patrones, rutinas parametrizadas, distilación en línea, fusión de pares de polaridad, degradación basada en confianza y prompts conscientes de la caché en un solo agente.
3. Métricas de Eficiencia Intrínseca: Más allá de la Tasa de Éxito (SR), el artículo introduce la Tasa de Repetición de Acciones (ARR), la Relación de Sobrecarga de Pasos (SOR) y la Utilización de la Caché de Prompts para diagnosticar ineficiencias a nivel de trayectoria.
4. Resultados de Vanguardia: PANDO alcanza una nueva frontera de Pareto en VWA, logrando tasas de éxito más altas con significativamente menos tokens que todas las líneas base evaluadas.

Resultados Experimentales

Evaluado en todas las 910 tareas del benchmark VisualWebArena:

• Tasa de Éxito (SR): PANDO logra un 58.3%, superando a SGV (54.0%) y a una reproducción de WALT (45.2%).
• Eficiencia de Tokens: PANDO utiliza 115K tokens por tarea en promedio. Esto es un 58% menos que SGV (275K) y un 61% menos que WALT (294K).
• Métricas Intrínsecas:
  • ARR: 9.1% (la más baja entre los métodos automatizados), indicando una evitación efectiva de bucles.
  • SOR: 1.8× (la más baja), mostrando que las tareas fallidas no incurren en penalizaciones de pasos excesivas.
  • Utilización de Caché: 72.4% (la más alta), demostrando la efectividad de los prefijos de prompts estables.
• Estudios de Ablación (VWA-300):
  • Componentes de Habilidades: Las reglas, las rutinas y la distilación en línea proporcionaron la mayor parte del aumento en SR (de 38.6% a 57.3%).
  • Componentes de Eficiencia: El enrutamiento jerárquico, la compresión visual y los prompts conscientes de la caché contribuyeron mínimamente a la SR, pero fueron responsables de la mayor parte de la reducción de tokens (de 147K a 117K) y del aumento en la utilización de la caché.
• Dinámica de Aprendizaje: El sistema exhibe una fase de "arranque en frío" con altos recuentos de pasos (~30 pasos/tarea) que se estabiliza en ~8.5 pasos/tarea a medida que madura la biblioteca. La biblioteca de habilidades creció de 12 rutinas semilla a 47 rutinas inducidas (32 activas después de la degradación) a lo largo del flujo.

Significado y Afirmaciones

El artículo afirma que PANDO demuestra que el progreso de los agentes web no necesita comprarse únicamente mediante despliegues aumentados, presupuestos de descubrimiento ocultos o acumulación de especialistas por paso.

• Reutilizabilidad como Capital: La idea central es que el gasto pasado de tokens debe convertirse en capital reutilizable. Al destilar la experiencia en una biblioteca estructurada y auditable, el agente reduce su carga de inferencia marginal con el tiempo.
• Transparencia: A diferencia de los almacenes de vectores de caja negra o las fases de descubrimiento fuera de línea, la biblioteca de habilidades de PANDO es inspeccionable, determinista y estable bajo el almacenamiento en caché de prompts.
• Informes de Benchmarks: Los autores argumentan que los benchmarks de uso informático deben reportar la SR junto con los tokens brutos, la cuota de tokens en caché, el gasto de descubrimiento oculto y la latencia para proporcionar una imagen completa de la eficiencia del agente.

El artículo concluye que PANDO alcanza un nuevo punto óptimo de Pareto: mayor precisión con menor costo marginal, sugiriendo que "la eficiencia no se obtiene haciendo menos, sino asegurando que lo que se hace tenga a dónde ir".