Resumen Técnico: Injerto de Caché Funcional (FCGRAFT)

Declaración del Problema

Los agentes encarnados que operan en entornos de dominio abierto enfrentan desafíos significativos al utilizar Modelos de Lenguaje de Gran Escala para la escritura de código (CodeLLMs) para la síntesis de políticas. El paradigma prevalente de "Código como Políticas" (CaP), que traduce instrucciones de lenguaje natural en código de control ejecutable, sufre dos limitaciones fundamentales en entornos dinámicos:

1. Latencia: La decodificación totalmente generativa requiere una computación de pre-llenado (prefill) repetitiva sobre prompts largos para cada nueva instrucción, lo que causa respuestas retrasadas que socavan la capacidad de respuesta en escenarios de tiempo crítico.
2. Robustez: Generar código completo desde cero a menudo conduce a desajustes de API, falta de salvaguardas de seguridad y lógica de control inestable, lo que resulta en fallos de la tarea.

Los enfoques existentes basados en memoria operan principalmente a nivel de texto, ofreciendo ganancias de eficiencia computacional limitadas. Del mismo modo, los métodos previos de caché de Clave-Valor (KV) generalmente soportan solo la reutilización basada en prefijos o el almacenamiento en caché a nivel de documento, sin lograr acomodar la adaptación a nivel de función requerida por la naturaleza dinámica y evolutiva de las tareas encarnadas de dominio abierto.

Metodología

El artículo propone FCGRAFT (Functional Cache Grafting - Injerto de Caché Funcional), un marco diseñado para mejorar la programación robótica basada en CodeLLM mediante el uso de caché KV a nivel de función y un pipeline unificado de síntesis de injerto de caché.

1. Caché KV de Dos Niveles a Nivel de Función

FCGRAFT reestructura el mecanismo nativo de caché KV en un caché de código jerárquico de dos niveles ($H$), indexado por identificadores de función ($f_k$):

• Nivel de Interfaz de Función ($I$): Almacena firmas de funciones invocables (texto) y sus estados KV asociados ($i^{KV}_k$). Estas entradas ligeras permiten al modelo reutilizar las interfaces de las funciones sin recomputar la atención cruzada, sirviendo como base para el injerto de caché (cache-stitching).
• Nivel de Código de Función ($C$): Almacena implementaciones completas validadas ($c^{text}_k$) y sus correspondientes estados KV ($c^{KV}_k$). Estos se utilizan durante la ejecución y para el parcheo de caché (cache-patching), proporcionando el contexto necesario para reparar fragmentos de código específicos sin regenerar toda la política.

Gestión de Caché: Para gestionar las restricciones de memoria de la GPU, el marco asigna una puntuación de localidad ($\ell(f_k)$) a cada función basada en:

• Recencia ($\ell_{curr}$): Retención inmediata de funciones utilizadas recientemente.
• Frecuencia ($\ell_{freq}$): Frecuencia de uso en tareas recientes.
• Asociación ($\ell_{asso}$): Co-ocurrencia condicional con otras funciones en los trazos de ejecución.
• Diversidad Semántica ($\ell_{sema}$): Distintividad basada en la perplejidad para retener funciones raras pero útiles.
  Las entradas con baja puntuación se descargan a la DRAM, mientras que las de alta puntuación permanecen en la GPU.

2. Pipeline de Síntesis de Injerto de Caché

Las nuevas políticas se sintetizan a través de dos etapas interdependientes:

• Injerto de Caché (Cache-Stitching): Cuando llega una nueva tarea, el sistema recupera interfaces de funciones relevantes del nivel $I$. El CodeLLM compone una nueva política inyectando los estados KV de estas interfaces en caché. Esto elimina la computación redundante de pre-llenado para las estructuras de funciones validadas, asegurando que la lógica de control interna y las secuencias de API sean robustas y estén pre-verificadas.
• Parcheo de Caché (Cache-Patching): Si ocurren errores de ejecución (por ejemplo, desajustes de API, excepciones en tiempo de ejecución), el sistema activa el parcheo de caché. La política se divide en un prefijo, un fragmento de error y un sufijo. El sistema reutiliza los estados KV del prefijo y genera únicamente el fragmento central corregido, guiado por un trazo de Cadena de Pensamiento (CoT) que identifica la causa raíz. Esto evita la regeneración completa, reduciendo drásticamente el tiempo de decodificación.

Contribuciones Clave

1. Marco FCGRAFT: Un enfoque novedoso que mejora la programación robótica basada en CodeLLM mediante la implementación de caché KV a nivel de función, reduciendo el pre-llenado redundante y asegurando la consistencia del comportamiento en entornos de dominio abierto.
2. Mecanismos Interdependientes: La introducción de cache-stitching (para eliminar errores estructurales y reducir el pre-llenado) y cache-patching (para corregir errores localizados con una decodificación mínima) como un pipeline unificado.
3. Validación Empírica: Demostración de que FCGRAFT logra un equilibrio superior entre robustez y latencia a través de diversos benchmarks (ALFRED, TEACh, RLBench) y tareas de manipulación robótica en el mundo real.

Resultados Experimentales

Los autores evaluaron FCGRAFT contra nueve líneas base competitivas, incluyendo métodos generales de CodeLLM (CaP, SCoT), enfoques basados en memoria (HELPER, LRLL, PromptBook) y métodos de caché KV (CAG, RAGCache, PromptCache, EPIC).

• Ganancias de Rendimiento: A través de benchmarks de simulación, FCGRAFT logró una tasa de éxito de tarea (SR) un 18.31% mayor y una latencia de síntesis de política 2.3× más rápida en comparación con la fuerte línea base RAGCache.
• Benchmarks Específicos:
  • ALFRED: Superó a la segunda mejor línea base (LRLL) por un 4.04% en SR y redujo la latencia en 2.67×.
  • RLBench: Logró un 16.21% más de SR y una reducción de latencia de 2.25× en comparación con CAG, destacando particularmente en tareas que requieren control fino y estructuras de bucle.
  • Robótica en el Mundo Real: En experimentos robóticos físicos (Reorganización de Escritorio de Oficina y Preparación de Estación de Trabajo de Cocina), FCGRAFT logró un 37.04% más de SR que CaP y redujo la latencia en 2.88× en comparación con RAGCache.
• Consistencia: El marco mantuvo una alta similitud de código (CSIM) y una transferencia hacia adelante positiva (FWT) sin olvido catastrófico (transferencia hacia atrás no negativa), lo que indica una acumulación estable de habilidades reutilizables.

Significado y Reivindicaciones

El artículo afirma que FCGRAFT representa un paso significativo hacia una inteligencia encarnada escalable y de propósito general al permitir que los agentes generen y adapten políticas de código de manera rápida y confiable.

• Robustez mediante la Reutilización: Al reutilizar estructuras de control validadas y patrones de llamadas de API del caché, el marco sesga la síntesis de la política hacia estructuras de programas probadas, evitando modos de fallo comunes como composiciones de primitivas incompatibles.
• Eficiencia mediante el Injerto: La separación de regiones invariantes (gestionadas por el injerto) de los puntos de adaptación (gestionados por el parcheo) permite al sistema omitir la computación redundante manteniendo la flexibilidad para corregir errores localmente.
• Practicidad: La transferencia exitosa del marco de simulación a la manipulación robótica en el mundo real demuestra su viabilidad para aplicaciones de tiempo crítico y sensibles a la seguridad donde la respuesta rápida a cambios de estado inesperados (por ejemplo, fugas de gas, mal colocación de objetos) es crucial.

Los autores reconocen las limitaciones, señalando que la implementación actual mantiene un caché de código aislado por agente, lo que puede limitar la escalabilidad en entornos cooperativos multi-agente. Se propone como trabajo futuro explorar el intercambio de caché de código y políticas de expulsión basadas en aprendizaje.