=== SINTESI TECNICA ===

Sintesi Tecnica: Dalle Specifiche Generate da LLM alla Locomozione Quadrupedale Appresa

Definizione del Problema

L'apprendimento per rinforzo profondo (RL) ha permesso ai robot quadrupedali di apprendere una locomozione agile, tuttavia le prestazioni rimangono fortemente dipendenti dalla progettazione manuale delle funzioni di ricompensa (reward functions). Progettare queste ricompense richiede una sostanziale competenza nel dominio per bilanciare i termini locali (tracking, postura, energia) e spesso si basa sulla taratura empirica piuttosto che su primi principi. Inoltre, le ricompense numeriche locali non descrivono esplicitamente il comportamento temporale globale desiderato, il che è particolarmente critico per la locomozione multi-gait, dove camminata, trotto e salto (bounding) differiscono per tempi di contatto e schemi di supporto. Sebbene le specifiche formali come la Logica Temporale di Segnale (STL) offrano interpretabilità e robustezza quantitativa, scriverle manualmente richiede comunque una significativa competenza. Viceversa, recenti approcci basati su Large Language Models (LLM) che generano direttamente codice di ricompensa dal linguaggio naturale spesso mancano della rigorosa struttura necessaria per vincoli temporali complessi. Questo articolo affronta il divario nella generazione di specifiche di ricompensa interpretabili e strutturate temporalmente utilizzando LLM, pur radicando i loro parametri numerici in dati esperti.

Metodologia

Gli autori propongono una pipeline che sfrutta gli LLM per generare la struttura delle specifiche di Logica Temporale di Segnale Parametrica (PSTL), utilizzando al contempo traiettorie esperte per istanziare i parametri e filtrare l'output.

1. Generazione di Specifiche tramite LLM:

   • I modelli (GPT-5.5 e Qwen 3.6) vengono istruiti con obiettivi di locomozione in linguaggio naturale e una grammatica STL vincolata.
   • Fondamentalmente, agli LLM viene chiesto di proporre solo la struttura simbolica (template) per il tracking dei comandi, la sicurezza e la struttura dell'andatura (gait). I parametri numerici e le costanti temporali sono lasciati come parametri simbolici da stimare successivamente, evitando che l'LLM inventi valori arbitrari.
   • Vengono esplorati due setting:
     • Gait-Aware (Multi-Gait): Il prompt definisce tre regimi di velocità (walking-trot, trot, bound) basati sulle transizioni del numero di Froude. L'LLM genera specifiche distinte per ogni regime.
     • Gait-Agnostic: Il prompt non prescrive andature specifiche, permettendo al robot di scoprire i pattern di contatto.

2. Radicamento dei Dati e Filtro di Coerenza con l'Esperto:

   • I parametri numerici per i template PSTL generati sono stimati da un dataset di 50 traiettorie esperte per regime.
   • Viene applicato un meccanismo di filtraggio: una specifica generata viene mantenuta solo se la sua robustezza mediana sulle traiettorie esperte è non negativa ($Q_{0.50}(R_\phi) \ge 0$). Questo scarta le specifiche che sono sistematicamente violate dal comportamento esperto, garantendo che il segnale di ricompensa sia allineato con la competenza dimostrata.

3. Costruzione della Ricompensa e Addestramento:

   • Le specifiche trattenute vengono convertite in funzioni di ricompensa fluide a memoria finita utilizzando la semantica della robustezza STL.
   • I valori di robustezza per le specifiche attive vengono aggregati utilizzando una funzione soft-min e normalizzati tramite $\tanh$ per evitare il dominio di magnitudo elevate.
   • La ricompensa scalare finale è una somma pesata di termini di sicurezza, tracking e pattern.
   • Le policy vengono addestrate utilizzando Proximal Policy Optimization (PPO) nell'ambiente di simulazione MuJoCo XLA (MJX) con il robot quadrupedale Barkour.

Contributi Chiave

1. Pipeline Ibrida LLM-Esperto: Un nuovo framework in cui gli LLM generano la struttura simbolica di specifiche di locomozione interpretabili, mentre i dati esperti radicano i parametri numerici.
2. Filtro di Coerenza con l'Esperto: Un meccanismo per scartare le specifiche generate dagli LLM che contraddicono il comportamento esperto dimostrato (robustezza mediana < 0), prevenendo l'introduzione di vincoli sistematicamente violati nella ricompensa.
3. Valutazione Comparativa delle Formulazioni: Un'indagine su come prescrivere esplicitamente la struttura dell'andatura (gait-aware) rispetto a permettere un comportamento emergente (gait-agnostic) influenzi la locomozione appresa.
4. Benchmarking: Un confronto completo contro euristiche progettate a mano, generazione diretta di codice di ricompensa da LLM (Text2Reward) e un oracle di switching esperto.

Risultati

Lo studio valuta le prestazioni attraverso velocità da 0.3 m/s a 2.1 m/s utilizzando metriche che includono il Costo di Trasporto (CoT), il tasso di sopravvivenza, il successo del comando e il match dell'andatura.

• Prestazioni Gait-Agnostic:

  • GPT-5.5 e Text2Reward (Gait-Agnostic) hanno ottenuto le migliori prestazioni quantitative, mantenendo il 100% di sopravvivenza e successo del comando a tutte le velocità con un basso CoT.
  • Tuttavia, l'ispezione visiva ha rivelato un difetto critico: queste policy hanno appreso un pattern di contatto di tipo "bound-like" (salto) attraverso l'intero intervallo di velocità, compresi i bassi valori (0.3 m/s). Ciò ha portato a movimenti delle gambe innaturali ad alta cadenza e oscillazioni verticali, indicando che alti punteggi quantitativi di successo non garantiscono un controllo dinamicamente appropriato.
  • Qwen 3.6 (Gait-Agnostic) non è riuscito a sopravvivere a velocità $\ge 1.6$ m/s.

• Prestazioni Gait-Aware (Multi-Gait):

  • Qwen 3.6 (Multi-Gait): Ha raggiunto il 100% di sopravvivenza e successo del comando nell'intero intervallo di velocità (0.3–2.1 m/s) e ha corrisposto con successo l'andatura "bound" target alle alte velocità.
  • GPT-5.5 (Multi-Gait): Ha catturato bene le andature a bassa/media velocità ma ha fallito il tracking del comando a velocità $\ge 1.9$ m/s.
  • Text2Reward (Multi-Gait): È fallito completamente alle alte velocità (1.9–2.1 m/s), terminando in ogni rollout.
  • Hand-Engineered (Heuristic): Ha perso l'accuratezza del tracking alle velocità più elevate (2.0–2.1 m/s).

• Ablazione sull'Orizzonte di Robustezza ($H$):

  • Orizzonti temporali più brevi ($H \in \{1, 5\}$) hanno generalmente prodotto policy più stabili e di successo.
  • Orizzonti più lunghi ($H=20, 30$) hanno spesso degradato le prestazioni, poiché l'operatore "always" ($G$) in STL dipende dal valore peggiore nella finestra, mantenendo i valori passati delle violazioni nel segnale di ricompensa più a lungo e complicando l'assegnazione del credito (credit assignment).

• Confronto tra Modelli:

  • La performance relativa di GPT-5.5 e Qwen 3.6 è stata altamente dipendente dal setting di controllo. GPT-5.5 eccelle nel setting gait-agnostic, mentre Qwen 3.6 supera GPT-5.5 nel setting multi-gait, specialmente alle alte velocità.

Significato e Rivendicazioni

L'articolo sostiene che l'inserimento della logica temporale come rappresentazione intermedia tra la generazione LLM e l'apprendimento della policy offra vantaggi distinti rispetto alla generazione diretta di codice di ricompensa, in particolare per la locomozione ad alta velocità. L'approccio basato su STL (specificamente Qwen 3.6 nel setting multi-gait) ha imparato con successo la desiderata andatura "bound" ad alta velocità dove la generazione diretta di codice (Text2Reward) ha fallito.

Tuttavia, gli autori mantengono una posizione modesta riguardo ai risultati:

• Nessuna Dominanza Universale: Nessuna singola formulazione di ricompensa domina universalmente in entrambi i setting di task (gait-aware vs agnostic) e in tutti i criteri di valutazione.
• Limitazioni delle Metriche Quantitative: I risultati evidenziano che un alto successo nel tracking del comando non garantisce il recupero delle strutture di andatura intese o del movimento naturale, come visto nelle policy gait-agnostic che hanno adottato un'andatura di tipo bound a basse velocità.
• Vincolo di Simulazione: Gli autori notano esplicitamente che le valutazioni sono confinate alla simulazione (MJX). Sebbene sia stata utilizzata la randomizzazione del dominio, la trasferibilità sim-to-real di queste comportamenti multi-gait appresi non è ancora stata stabilita su hardware fisico.

Il lavoro dimostola che gli LLM possono proporre efficacemente la struttura delle specifiche formali, ma i parametri e la validità di tali specifiche devono essere rigorosamente radicati nei dati esperti per produrre politiche di locomozione robuste, interpretabili ed efficaci.