TeNet: Text-to-Network for Compact Policy Synthesis

Resumen Técnico: TeNet (Text-to-Network)

Planteamiento del Problema
Los enfoques actuales para el control robótico condicionado por lenguaje enfrentan una dicotomía. Por un lado, los sistemas masivos de Visión-Lenguaje-Acción (VLA) de extremo a extremo (p. ej., RT-2, OpenVLA, OCTO) aprovechan la expresividad de los Modelos de Lenguaje de Gran Escala (LLMs), pero son computacionalmente costosos, lo que dificulta su despliegue en bucles de control de alta frecuencia o en robots con recursos limitados. Por otro lado, los modelos de secuencia compactos como los Decision Transformers (DT) son eficientes y adecuados para el control en tiempo real, pero carecen de condicionamiento de lenguaje nativo; típicamente dependen de prompts de trayectoria o demostraciones específicas de la tarea para distinguir tareas, requiriendo a menudo demostraciones incluso durante la inferencia. Esto crea una brecha entre los sistemas expresivos impulsados por lenguaje y los controladores ligeros y eficientes. El artículo se pregunta si el lenguaje natural puede servir como una señal de condicionamiento directa para la instanciación de políticas sin requerir que el LLM se ejecute dentro del bucle de control.

Metodología: Marco de Trabajo TeNet
Los autores proponen TeNet (Text-to-Network), un marco que sintetiza políticas robóticas compactas y específicas de cada tarea directamente a partir de descripciones en lenguaje natural utilizando una hiperred (hypernetwork).

1. Arquitectura:

   • Codificador de Texto: Un LLM preentrenado (p. ej., Llama-3 8B) codifica descripciones de tareas en lenguaje natural en embeddings de texto.
   • Hiperred: Una red neuronal ligera toma los embeddings de texto (proyectados en un espacio de condicionamiento) como entrada y genera los parámetros ($\theta_\pi$) para una red de política específica de la tarea.
   • Ejecución de la Política: La política resultante opera únicamente sobre entradas de estado de baja dimensión a altas frecuencias de control. Crucialmente, el LLM solo se utiliza una vez en el momento de la instanciación; el bucle de ejecución depende enteramente de la política compacta generada.

2. Variantes de Entrenamiento:

   • Direct TeNet: La hiperred se condiciona únicamente con embeddings de texto. La política se entrena mediante clonación de comportamiento (aprendizaje por imitación) sobre trayectorias expertas.
   • Grounded TeNet: Para mejorar la generalización, esta variante introduce un mecanismo de anclaje de lenguaje (language grounding) durante el entrenamiento. Un codificador de trayectoria procesa las trayectorias expertas, y los embeddings resultantes se alinean con los embeddings de texto. Los autores exploran dos estrategias de alineación:
     • Alineación Directa (MSE): Minimizar la distancia al cuadrado entre los pares de embeddings de texto y trayectoria.
     • Alineación Contrastiva: Utilizar una pérdida InfoNCE para atraer los pares coincidentes de texto-trayectoria mientras se alejan los pares no coincidentes. Esto incluye términos contrastivos de texto-trayectoria y texto-texto para prevenir el colapso de embeddings en descripciones estructuralmente similares.
   • Inferencia: En el momento de la prueba, no se requieren demostraciones ni prompts de trayectoria. Una nueva descripción de la tarea se codifica y se introduce en la hiperred para instanciar la política.

Contribuciones Clave

1. Generación de Políticas de Texto-a-Red: La introducción de un marco que condiciona una hiperred a los embeddings de texto derivados de LLM para sintetizar políticas robóticas ejecutables y compactas, adecuadas para el despliegue en tiempo real.
2. Anclaje del Lenguaje en el Comportamiento: Demostrar que alinear las representaciones de lenguaje con las trayectorias expertas durante el entrenamiento enriquece las representaciones lingüísticas con semántica conductual, lo que conduce a una mayor generalización en entornos multi-tarea y de meta-aprendizaje.
3. Perspectivas Empíricas: Proporcionar un estudio exhaustivo en los benchmarks de MuJoCo y Meta-World que destaca las compensaciones entre las hiperredes habilitadas por lenguaje y las líneas base existentes, aislando el papel del lenguaje en la instanciación de la política sin abordar la percepción.

Resultados Experimentales
Los autores evaluaron TeNet en tareas de locomoción de MuJoCo (HalfCheetah-Dir, HalfCheetah-Vel, Ant-Dir) y tareas de manipulación de Meta-World (ML1 Pick-Place, MT10, MT50).

• Rendimiento vs. Líneas Base:
  • Entornos Multi-Tarea: TeNet (específicamente la variante contrastiva de Grounded TeNet) supera significativamente a Prompt-DT en benchmarks multi-tarea complejos (MT10, MT50), logrando tasas de éxito cercanas a 0.99 frente al 0.61–0.73 de Prompt-DT.
  • Entornos de Meta-Aprendizaje: Las variantes de Grounded TeNet superan consistentemente a Direct TeNet y Prompt-DT en tareas de meta-aprendizaje (HalfCheetah-Vel, Ant-Dir), lo que indica que el anclaje es esencial para extrapolar a tareas no vistas.
  • Direct vs. Grounded: Aunque Direct TeNet supera a los Decision Transformers estándar, se queda por detrás de Prompt-DT en algunos escenarios de meta-aprendizaje, sugiriendo que los prompts de trayectoria generalizan mejor hacia tareas no vistas sin el anclaje. Sin embargo, Grounded TeNet cierra esta brecha.
• Eficiencia y Escalabilidad:
  • Tamaño del Modelo: Las políticas de TeNet son órdenes de magnitud más pequeñas (~40K parámetros) comparadas con las variantes de Prompt-DT (1M–39M parámetros).
  • Frecuencia de Control: TeNet mantiene frecuencias de control superiores a 9 kHz, mientras que las líneas base de Prompt-DT están limitadas al régimen sub-kHz (190–600 Hz).
  • Robustez: TeNet demuestra robustez ante descripciones de tareas parafraseadas, donde los LLMs más grandes (LLaMA) muestran mayor estabilidad que los codificadores más pequeños (BERT) bajo variación lingüística.
• Escalabilidad: El rendimiento mejora significativamente a medida que aumenta el número de tareas de entrenamiento (de 50 a 1600 tareas), lo que sugiere que TeNet se beneficia de la escala de datos de manera similar a los modelos fundacionales.

Significancia y Reivindicaciones
El artículo afirma que TeNet ofrece una vía práctica para construir controladores compactos impulsados por lenguaje para robots con requisitos de tiempo real y recursos limitados. Al utilizar el lenguaje solo en la fase de instanciación mediante una hiperred, TeNet hereda el conocimiento general y la robustez de parafraseo de los LLMs preentrenados, manteniendo la eficiencia de las arquitecturas ligeras.

Los autores posicionan este trabajo como un "primer enfoque" para utilizar grandes modelos fundacionales robóticos en robots con restricciones. Reconocen las limitaciones, señalando que el trabajo actual aísla el papel del lenguaje en dominios de baja dimensión basados en estados (MuJoCo/Meta-World) y aún no aborda la percepción ni las demostraciones ruidosas del mundo real. Se identifica como trabajo futuro la necesidad de extender este paradigma a entornos anclados en visión y al ajuste fino mediante refuerzo. Los resultados sugieren que las hiperredes habilitadas por lenguaje pueden cerrar eficazmente la brecha entre los modelos de secuencia ligeros y los sistemas de gran escala condicionados por lenguaje en entornos de aprendizaje por imitación offline basados en estados.