Resumen Técnico: FaSTA∗: Agente de Trayectoria de Herramientas Rápido-Lento con Minería de Subrutinas para Edición de Imágenes Multi-turno Eficiente

Enunciado del Problema

La edición de imágenes multi-turno requiere aplicar una secuencia de operaciones heterogéneas (por ejemplo, detección, segmentación, inpainting, recoloreo) a una sola imagen basándose en instrucciones complejas en lenguaje natural. Aunque los agentes de Modelos de Lenguaje Grande (LLM) existentes sobresalen en la planificación de alto nivel, a menudo subestiman o sobrestiman el costo y la calidad de herramientas de IA específicas, lo que conduce a trayectorias de herramientas subóptimas o alucinaciones (por ejemplo, seleccionar un modelo de difusión costoso cuando basta un filtro simple). Por el contrario, la búsqueda $A^*$ clásica puede encontrar trayectorias de herramientas óptimas y verificables, pero es computacionalmente costosa y carece de la capacidad de aprender de experiencias pasadas para acelerar la planificación futura. Trabajos anteriores, como CoSTA∗, combinaron la planificación con LLM y la búsqueda $A^*$, pero permanecieron como un cuello de botella computacional debido a la exploración repetida y costosa de las mismas subtareas sin reutilizar el conocimiento aprendido.

Metodología: FaSTA∗

FaSTA∗ es un agente neurosimbólico diseñado para abordar estas ineficiencias integrando la minería de subrutinas en línea con un marco de planificación adaptable rápido-lento. El sistema opera bajo la premisa de que los humanos aprenden acciones reutilizables de experiencias pasadas; FaSTA∗ imita esto extrayendo y refinando continuamente subrutinas simbólicas de trayectorias de herramientas exitosas.

1. Razonamiento Inductivo en Línea y Minería de Subrutinas

A diferencia de los enfoques exclusivos para el momento de la prueba, FaSTA∗ emplea un bucle de aprendizaje en línea para construir una Tabla de Reglas de Subrutinas.

• Registro de Datos: El agente registra trazas de ejecución detalladas ($\tau$) para cada subtarea, incluyendo la ruta de herramientas tomada, características de contexto (por ejemplo, tamaño de objeto de YOLO, propiedades de máscara de SAM, complejidad de fondo inferida por LLM), costos de ejecución y resultados de calidad.
• Refinamiento Periódico: Cada $K$ tareas (por ejemplo, $K=20$), el sistema desencadena un ciclo de refinamiento. Un LLM realiza razonamiento inductivo sobre el lote reciente de trazas para identificar secuencias de herramientas recurrentes y exitosas (subrutinas) y las condiciones contextuales específicas bajo las cuales funcionan bien.
• Generación de Reglas Simbólicas: El LLM sintetiza reglas simbólicas compactas que mapean subtareas y características de contexto hacia subrutinas rentables. Por ejemplo: Si el tamaño_del_objeto es "No Demasiado Pequeño" y el fondo es "Textura Simple", entonces usar YOLO $\to$ SAM $\to$ SD Inpaint para la Eliminación de Objetos.
• Verificación: Las reglas propuestas pasan por una verificación rigurosa en conjuntos de datos de prueba especializados. Una puntuación de "Beneficio Neto" equilibra la reducción de costos contra la degradación de la calidad. Solo las reglas que mejoran la compensación costo-calidad se integran en la tabla de reglas, con un mecanismo de reintento para el refinamiento si las propuestas iniciales fallan.

2. Planificación Adaptable Rápido-Lento

FaSTA∗ ejecuta tareas utilizando una estrategia de planificación de dos niveles:

• Planificación Rápida (Predeterminada): Para cada subtarea en un plan de alto nivel generado por un LLM, el agente primero intenta seleccionar una subrutina preaprendida de la Tabla de Reglas de Subrutinas basada en el contexto de la imagen actual. Esta selección es inmediata y evita la búsqueda.
• Planificación Lenta (Respuesta de Emergencia): Si no existe una subrutina aplicable, o si la salida de la subrutina seleccionada falla una verificación de calidad de un Modelo de Lenguaje Visual (VLM), el agente desencadena una fase de "planificación lenta". Esto implica una búsqueda $A^*$ localizada en el subgrafo de herramientas de bajo nivel para esa subtarea específica para encontrar una ruta óptima.
• Flujo de Ejecución: El sistema prioriza el plan rápido. La costosa búsqueda $A^*$ solo se invoca de manera perezosa cuando el plan rápido falla o no está disponible, reduciendo significativamente el tiempo promedio de ejecución.

Contribuciones Clave

1. Memoria de Subrutinas Simbólicas: El artículo introduce un método para que los LLM aprendan subrutinas reutilizables como reglas simbólicas a partir de trazas de ejecución. Esto transforma al agente de un planificador sin estado a uno con memoria aprendible, permitiéndole generalizar patrones exitosos a través de diversas tareas.
2. Planificación Adaptable Rápido-Lento: FaSTA∗ desarrolla un marco neurosimbólico que prioriza la planificación rápida basada en reglas eficiente, manteniendo al mismo tiempo la robustez de la "planificación lenta" (búsqueda $A^*$) como respuesta de emergencia. Esta arquitectura imita la eficiencia cognitiva humana, manejando casos comunes rápidamente mientras reserva la búsqueda profunda para escenarios novedosos o desafiantes.
3. Optimización Costo-Calidad: El sistema logra una frontera de Pareto superior, reduciendo significativamente los costos computacionales mientras mantiene tasas de éxito competitivas en comparación con las líneas base más avanzadas.

Resultados Experimentales

Los experimentos se realizaron en la línea base de CoSTA∗ (121 pares de imagen-prompt, 550 manipulaciones en total) y en la línea base Complex-Edit.

• Eficiencia: FaSTA∗ reduce el costo promedio de ejecución en un 49.3% en comparación con CoSTA∗ (de ~58s a ~29s por imagen). En la línea base Complex-Edit, logra una reducción de costos de ~30%.
• Calidad: El método mantiene una alta calidad de salida, con una degradación de solo un 3.2% en precisión en comparación con CoSTA∗ (0.91 vs. 0.94 en puntuación promedio de evaluación humana).
• Reutilización de Subrutinas: A medida que el agente explora más tareas, la tasa de reutilización de subrutinas aprendidas aumenta exponencialmente. En la evaluación final, el 91% de las subtareas fueron manejadas enteramente por el "plan rápido" (subrutinas), requiriendo solo un 9% la respuesta de emergencia a la búsqueda $A^*$.
• Estudios de Ablación:
  • Eliminar el paso de verificación de subrutinas aumentó la tasa de respuesta de emergencia al 28%, demostrando la necesidad de validar las reglas antes de su implementación.
  • Eliminar la respuesta de emergencia de planificación lenta (Solo Plan Rápido) causó una caída significativa en la calidad (0.84), confirmando el papel crítico de la búsqueda $A^*$ para la robustez.
  • El uso de un LLM más pequeño para la selección de subrutinas aumentó las tasas de respuesta de emergencia y el costo total, destacando la necesidad de modelos de razonamiento capaces en la fase de inducción.

Significado y Afirmaciones

Los autores afirman que FaSTA∗ aborda un cuello de botella clave en los métodos anteriores de edición de imágenes multi-turno: el gasto computacional de búsquedas exhaustivas repetidas sin reutilización de conocimiento. Al combinar la eficiencia de planificación de los LLM con la precisión de la búsqueda $A^*$ y la adaptabilidad del razonamiento inductivo, FaSTA∗ ofrece una solución escalable y sensible a los costos.

El artículo enfatiza que este enfoque va más allá del simple almacenamiento en caché o memorización al aprender reglas simbólicas generalizadas que se aplican a contextos variables. Si bien el sistema requiere una fase de "calentamiento" para acumular suficiente experiencia para una minería de subrutinas efectiva, eventualmente converge hacia una frontera costo-calidad óptima. Los autores posicionan a FaSTA∗ como una dirección prometedora para el desarrollo de agentes de IA ágiles y en mejora continua capaces de manejar tareas complejas de largo horizonte de manera eficiente.