TeNet: Text-to-Network for Compact Policy Synthesis

Resumo Técnico: TeNet (Text-to-Network)

Problema
As abordagens atuais para o controle de robôs condicionado por linguagem enfrentam uma dicotomia. De um lado, grandes sistemas de Visão-Linguagem-Ação (VLA) de ponta a ponta (ex: RT-2, OpenVLA, OCTO) aproveitam a expressividade dos Grandes Modelos de Linguagem (LLMs), mas são computacionalmente caros, tornando difícil o seu implantação em loops de controle de alta frequência ou em robôs com recursos limitados. Do outro lado, modelos de sequência compactos como os Decision Transformers (DT) são eficientes e adequados para controle em tempo real, mas carecem de condicionamento de linguagem nativo; eles tipicamente dependem de prompts de trajetória ou demonstrações específicas da tarefa para distinguir tarefas, muitas vezes exigindo demonstrações mesmo durante a inferência. Isso cria um hiato entre sistemas expressivos e orientados por linguagem e controladores leves e eficientes. O artigo questiona se a linguagem natural pode servir como um sinal de condicionamento direto para a instanciação de políticas sem a necessidade de rodar o LLM dentro do loop de controle.

Metodologia: Estrutura TeNet
Os autores propõem o TeNet (Text-to-Network), uma estrutura que sintetiza políticas de robô compactas e específicas de cada tarefa diretamente de descrições de linguagem natural usando uma hiperrede (hypernetwork).

1. Arquitetura:

   • Codificador de Texto: Um LLM pré-treinado (ex: Llama-3 8B) codifica descrições de tarefas em linguagem natural em embeddings de texto.
   • Hiperrede: Uma rede neural leve recebe os embeddings de texto (projetados em um espaço de condicionamento) como entrada e gera os parâmetros ($\theta_\pi$) para uma rede de política específica da tarefa.
   • Execução da Política: A política resultante opera exclusivamente em entradas de estado de baixa dimensão em frequências de controle elevadas. Crucialmente, o LLM é usado apenas uma vez no momento da instanciação; o loop de execução depende inteiramente da política compacta gerada.

2. Variantes de Treinamento:

   • TeNet Direto (Direct TeNet): A hiperrede é condicionada unicamente em embeddings de texto. A política é treinada via clonagem de comportamento (imitation learning) em trajetórias de especialistas.
   • TeNet Grounded (Grounded TeNet): Para melhorar a generalização, esta variante introduz um mecanismo de ancoragem de linguagem (language grounding) durante o treinamento. Um codificador de trajetória processa trajetórias de especialistas, e os embeddings resultantes são alinhados com os embeddings de texto. Os autores exploram duas estratégias de alinhamento:
     • Alinhamento Direto (MSE): Minimizando a distância ao quadrado entre pares de embeddings de texto e trajetória.
     • Alinhamento Contrastivo: Usando uma perda InfoNCE para aproximar pares correspondentes de texto-trajetória enquanto afasta pares não correspondentes. Isso inclui termos contrastivos de texto-trajetória e texto-texto para evitar o colapso de embeddings para descrições estruturalmente similares.
   • Inferência: No momento do teste, não são necessários prompts de demonstração ou de trajetória. Uma nova descrição de tarefa é codificada e enviada à hiperrede para instanciar a política.

Principais Contribuições

1. Geração de Política Text-to-Network: A introdução de uma estrutura que condiciona uma hiperrede em embeddings de texto derivados de LLM para sintetizar políticas de robô executáveis e compactas, adequadas para implantação em tempo real.
2. Ancoragem da Linguagem no Comportamento: Demonstrar que o alinhamento de representações de linguagem com trajetórias de especialistas durante o treinamento enriquece as representações linguísticas com semântica comportamental, levando a uma generalização mais forte em configurações de múltiplas tarefas e meta-aprendizado.
3. Insights Empíricos: Fornecer um estudo abrangente nos benchmarks MuJoCo e Meta-World que destaca as trocas (trade-offs) entre hiperredes habilitadas por linguagem e baselines existentes, isolando o papel da linguagem na instanciação da política sem abordar a percepção.

Resultados Experimentais
Os autores avaliaram o TeNet em tarefas de locomoção MuJoCo (HalfCheetah-Dir, HalfCheetah-Vel, Ant-Dir) e tarefas de manipulação Meta-World (ML1 Pick-Place, MT10, MT50).

• Desempenho vs. Baselines:
  • Configurações de Múltiplas Tarefas: O TeNet (especificamente a variante contrastiva grounded) supera significativamente o Prompt-DT em benchmarks complexos de múltiplas tarefas (MT10, MT50), alcançando taxas de sucesso próximas a 0.99 comparado aos 0.61–0.73 do Prompt-DT.
  • Configurações de Meta-Aprendizado: As variantes Grounded TeNet superam consistentemente o Direct TeNet e o Prompt-DT em tarefas de meta-aprendizado (HalfCheetah-Vel, Ant-Dir), indicando que a ancoragem (grounding) é essencial para extrapolar para tarefas não vistas.
  • Direto vs. Grounded: Embora o Direct TeNet supere os Decision Transformers padrão, ele fica atrás do Prompt-DT em alguns cenários de meta-aprendizado, sugerindo que prompts de trajetória generalizam melhor para tarefas não vistas sem o grounding. No entanto, o Grounded TeNet preenche essa lacuna.
• Eficiência e Escalabilidade:
  • Tamanho do Modelo: As políticas TeNet são ordens de magnitude menores (~40K parâmetros) comparadas às variantes de Prompt-DT (1M–39M parâmetros).
  • Frequência de Controle: O TeNet sustenta frequências de controle acima de 9 kHz, enquanto as baselines Prompt-DT são limitadas ao regime sub-kHz (190–600 Hz).
  • Robustez: O TeNet demonstra robustez a descrições de tarefas parafraseadas, com LLMs maiores (LLaMA) mostrando maior estabilidade do que codificadores menores (BERT) sob variação linguística.
• Escala: O desempenho melhora significativamente conforme o número de tarefas de treinamento aumenta (de 50 para 1600 tarefas), sugerindo que o TeNet se beneficia da escala de dados de forma semelhante aos modelos de fundação.

Significância e Alegações
O artigo afirma que o TeNet oferece um caminho prático para construir controladores compactos e orientados por linguagem para robôs com requisitos de tempo real e recursos limitados. Ao usar a linguagem apenas na fase de instanciação via uma hiperrede, o TeNet herda o conhecimento geral e a robustez de paráfrase dos LLMs pré-treinados, mantendo a eficiência de arquiteturas leves.

Os autores posicionam este trabalho como uma "primeira abordagem" para utilizar grandes modelos de fundação robótica em robôs com restrições. Eles reconhecem limitações, observando que o trabalho atual isola o papel da linguagem em domínios de baixa dimensão baseados em estado (MuJoCo/Meta-World) e ainda não aborda percepção ou demonstrações ruidosas do mundo real. Identifica-se que trabalhos futuros são necessários para estender este paradigma para configurações baseadas em visão e ajuste fino por reforço. Os resultados sugerem que hiperredes habilitadas por linguagem podem efetivamente fechar o hiato entre modelos de sequência leves e sistemas de grande escala condicionados por linguagem em configurações de imitação offline baseadas em estado.