Resumen Técnico: Anclaje de Habilidades Eficiente mediante la Refactorización de Código con Modelos de Lenguaje Pequeños

1. Planteamiento del Problema

El anclaje efectivo de habilidades (skill grounding) es crítico para el despliegue de habilidades reutilizables en agentes corporizados. Sin embargo, incluso las diferencias menores en la morfología del robot (corporización) o en las condiciones ambientales pueden hacer que una habilidad predefinida sea incompatible. Los enfoques existentes enfrentan un compromiso:

• Subpolíticas Neuronales: A menudo requieren reentrenamiento o ajuste fino cuando cambian las condiciones de despliegue, lo que incurre en una alta carga computacional.
• Code-as-Policies (CaP) con LLMs: Aunque representar las habilidades como código ejecutable permite el anclaje en tiempo de inferencia sin reentrenamiento, los métodos existentes suelen depender de la regeneración de toda la implementación de la habilidad desde cero cuando ocurren desajustes. Esto es computacionalmente costoso e impracticable para dispositivos con capacidad limitada donde el acceso en línea a Modelos de Lenguaje Grandes (LLMs) no está disponible.
• Modelos de Lenguaje Pequeños (sLMs): Aunque son eficientes para la inferencia, los sLMs carecen de la capacidad de razonamiento para regenerar código complejo de largo horizonte desde cero. En consecuencia, tienen dificultades con entornos dinámicos y desajustes de corporización cuando se ven forzados a realizar una regeneración completa.

El desafío central es permitir un anclaje de habilidades eficiente utilizando sLMs en entornos dinámicos y parcialmente observables sin depender de LLMs de gran escala o de la regeneración completa de código.

2. Metodología: RECENT

Los autores proponen RECENT (Marco de Agente Centrado en la Refactorización), un sistema que desacopla la intención semántica invariante de los vínculos de ejecución específicos del despliegue. En lugar de regenerar el código, RECENT realiza una refactorización de código localizada.

Arquitectura Central

RECENT opera en tres fases:

1. Construcción del Repositorio de Habilidades Offline:

   • Se construye una Ontología de Habilidades para codificar declarativamente la semántica de las habilidades, las capacidades del robot y sus relaciones (ej. requiere, provee, sustituible-por).
   • Un LLM genera código de habilidad ejecutable enriquecido con metadatos alineados con la ontología.
   • Las habilidades se validan offline en un robot de referencia (ej. Franka Panda) para asegurar la corrección funcional. Esto separa el "qué" (intención semántica) del "cómo" (vínculos de ejecución).

2. Razonamiento Basado en Ontología (Anclaje Pre-Ejecución):

   • Al desplegar en un robot objetivo, el sistema consulta la ontología para identificar conflictos determinados (ej. desajustes de API, restricciones cinemáticas).
   • Un sLM realiza una edición localizada utilizando capacidades de Relleno en el Medio (Fill-in-the-Middle, FIM). Reemplaza fragmentos de código específicos (ej. llamadas a API, parámetros) basándose en pistas de sustitución derivadas de la ontología, preservando la estructura de control global.
   • Esta fase resuelve los desajustes de corporización (ej. diferencias cinemáticas, tipos de efectores finales) antes de que comience la ejecución.

3. Adaptación In-Situ (Anclaje en Tiempo de Ejecución):

   • Los factores indeterminados (ej. perturbaciones en la pose de objetos, estabilidad de contacto) se gestionan durante la ejecución.
   • El sistema inserta pruebas unitarias ligeras para monitorear las observaciones en tiempo de ejecución frente a las precondiciones esperadas.
   • Si una prueba unitaria falla, el sLM parchea proactivamente los fragmentos de código aún no ejecutados utilizando FIM, guiado por la observación actual. Esto permite una adaptación anticipatoria sin interrumpir el flujo de ejecución en curso.

Mecanismos Técnicos Clave

• Desacoplamiento: La intención semántica se preserva en la lógica funcional; solo se modifican los vínculos de ejecución.
• Refactorización sobre Regeneración: El sLM se restringe a ediciones localizadas (llenar huecos en el código) en lugar de generar programas completos, lo que reduce drásticamente el uso de tokens y la carga de razonamiento.
• Guía de la Ontología: La ontología actúa como una restricción, guiando al sLM hacia sustituciones válidas (ej. mapear open_gripper a deactivate_vacuum) en lugar de depender del razonamiento abierto del modelo.

3. Contribuciones Clave

1. Marco RECENT: Un marco de agente centrado en la refactorización que permite el anclaje eficiente de habilidades con sLMs bajo restricciones de despliegue, haciendo que el control de largo horizonte sea práctico sin LLMs de gran escala.
2. Representación de Habilidades: Un método para representar habilidades como código ejecutable que separa explícitamente la intención semántica invariante de los vínculos de ejecución específicos del despliegue, facilitando el anclaje mediante refactorización localizada en lugar de regeneración.
3. Validación Empírica: Evaluación exhaustiva en diversos escenarios (variaciones cinemáticas, variaciones de efectores finales, entornos dinámicos) demostrando que RECENT supera a los métodos de CaP basados en sLM destilados y iguala el rendimiento de los métodos de CaP basados en LLM mientras opera bajo estrictas restricciones de despliegue.

4. Resultados Experimentales

Los autores evaluaron RECENT en tareas de manipulación robótica de largo horizonte en simulación (CoppeliaSim y Genesis) y en una tarea real de escaneo y embolsado (scan-and-bag).

Métricas de Rendimiento:

• Tasa de Éxito de la Tarea (SR): RECENT logró tasas de éxito del 73.00% (Cinemática) y 82.50% (Efector Final).
• Sobrecarga de Anclaje (GO): RECENT redujo la sobrecarga de generación de tokens en 99.09 puntos porcentuales en comparación con el CaP basado en sLM (CodeV-R1) y logró una mejora de 57.81 pp sobre el CaP basado en LLM (Codex).
• Continuidad de Ejecución: RECENT mantuvo interrupciones de ejecución casi nulas (EI: ~0.7) y un tiempo de inactividad mínimo (IT: ~1.77s), superando significativamente a los modelos de referencia que requieren regeneración completa.
• Comparación: RECENT (usando Qwen2.5-Coder-7B) superó significativamente al mejor modelo de referencia sLM (RepairAgent) y alcanzó un rendimiento comparable al de la base de referencia basada en LLM (CaP-Codex), a pesar de que este último tiene acceso a un modelo mucho más grande.

Estudios de Ablación:

• Escala del Modelo: RECENT mantuvo un rendimiento robusto a través de familias de sLM (Qwen, CodeGemma) y tamaños (1.5B a 7B), con los modelos de 7B alcanzando un ~83% de SR.
• Componentes: Eliminar la guía de la ontología causó una caída de 61.66 pp en el SR, resaltando la necesidad del anclaje semántico. Eliminar la adaptación in-situ redujo el SR en un 16.66 pp, mostrando el valor del parcheo anticipatorio.

5. Significado y Reivindicaciones

El artículo afirma que RECENT aborda el cuello de botella crítico de desplegar agentes corporizados en dispositivos con recursos limitados donde los LLM no están disponibles. Al desplazar la carga de razonamiento del sLM hacia una ontología construida offline y restringir al sLM a la refactorización localizada, el marco permite:

• Eficiencia: Reducción drástica en la generación de tokens y el tiempo de inferencia.
• Robustez: Ejecución estable de largo horizonte en entornos dinámicos sin interrupciones frecuentes.
• Escalabilidad: La capacidad de utilizar modelos pequeños y eficientes para tareas de control complejas que anteriormente requerían modelos grandes o reentrenamiento.

Los autores señalan que el marco está limitado a entornos donde existe una ontología de habilidades compartida. Los casos que requieren nuevas capacidades no representadas en la ontología corresponden al aprendizaje incremental de habilidades, lo cual se identifica como una dirección futura en lugar de una capacidad actual de RECENT.