Personalized and Robust Proactive Robot Assistance with Uncertainty-Guided LLM Reasoning

Sintesi Tecnica: GLOBE – Assistenza Robotica Proattiva Personalizzata e Robusta

Problematica
L'assistenza robotica proattiva in ambienti domestici richiede la previsione accurata delle attività umane e del successivo utilizzo degli oggetti in condizioni dinamiche e rumorose. Gli approcci esistenti, come i modelli spazio-temporali (ad es., STOT, SLaTe-PRO), spesso si affidano ad architetture complesse che sono computazionalmente costose e sensibili alla variabilità ambientale. Questi metodi faticano frequentemente con il rumore del mondo reale, come gli spostamenti di oggetti causati da animali domestici, bambini piccoli o azioni umane incidentali, che non sono esplicitamente modellati nei dataset standard. Inoltre, esiste la necessità di framework che bilancino l'accuratezza predittiva con l'efficienza computazionale e la robustezza per l'impiego a lungo termine.

Metodologia: Il Framework GLOBE
Gli autori propongono GLOBE (uncertainty-Guided LLM reasoning for routine Object prediction via Behavioral tEmporal modeling), un framework ibrido leggero progettato per prevedere l'uso degli oggetti per l'assistenza proattiva. Il sistema opera attraverso un processo a due fasi: una fase di osservazione (addestramento) e una fase di assistenza (inferenza).

1. Previsione Sequenziale tramite Modelli Markoviani n-gram:

   • Previsione dell'Attività: Il sistema addestra modelli Markoviani n-gram su dati sequenziali di attività dell'utente. Calcola le probabilità di transizione basandosi sulla storia recente dell'attività ($c_{act}$). Per gestire il contesto limitato, il modello impiega una strategia di "back-off", utilizzando progressivamente sequenze di storia più brevi se la sequenza più lunga osservata non è stata incontrata durante l'addestramento.
   • Previsione dell'Oggetto: L'uso dell'oggetto è previsto condizionato dall'attività prevista ($\hat{a}_t$) e dalla storia recente dell'oggetto ($c_{obj}$) all'interno di quel contesto di attività specifico. Il modello restringe le previsioni all'insieme di oggetti che co-occorrono con l'attività, garantendo la coerenza contestuale.

2. Ragionamento LLM Guidato dall'Incertezza:

   • Per affrontare la scarsità, l'ambiguità o i pattern non visti dove la confidenza del modello Markoviano è bassa, il framework invoca selettivamente un Large Language Model (LLM) pre-addestrato.
   • Una soglia di confidenza ($d$) determina quando attivare l'LLM. Se la probabilità del modello sequenziale scende al di sotto di questa soglia, l'LLM viene interrogato con la sequenza recente di attività, l'oggetto e un insieme filtrato di $k$ candidati principali dal modello n-gram.
   • L'LLM utilizza le sue capacità di ragionamento semantico per raffinare la previsione, tenendo conto di una conoscenza contestuale più ampia senza essere l'unico decisore.

3. Dataset HOMER-Noise:

   • Per valutare la robustezza, gli autori introducono HOMER-Noise, un'estensione del dataset esistente HOMER+.
   • Questo dataset simula disturbi ambientali realistici iniettando movimenti strutturati degli oggetti causati da tre fonti distinte: Persona (riordinare/sistemare), Animale Domestico (spostamento incidentale) e Bambino Piccolo (movimento casuale imprevedibile).
   • Questi disturbi sono generati tramite LLM per garantire la coerenza semantica con l'ambiente domestico, creando un benchmark che distingue tra cambiamenti indotti dall'attività e rumore esterno.

Contributi Chiave

• Framework GLOBE: Un'architettura ibrida che combina l'efficiente modellazione Markoviana n-gram per i pattern di routine con il ragionamento LLM selettivo e guidato dall'incertezza per i casi limite. Questo design evita l'overhead computazionale dell'uso di LLM per ogni previsione.
• Dataset HOMER-Noise: Un'estensione del dataset che modella esplicitamente il rumore ambientale strutturato (interazioni di persone, animali domestici, bambini piccoli) per simulare meglio la variabilità domestica del mondo reale.
• Robustezza ed Efficienza: L'approccio dimostra che modelli sequenziali leggeri, aumentati dagli LLM solo quando necessario, possono raggiungere prestazioni competitive con i metodi allo stato dell'arte (SOTA) riducendo significativamente il tempo di addestramento e migliorando la resilienza al rumore.

Risultati Sperimentali
Il framework è stato valutato sia sul dataset pulito HOMER+ che sul dataset rumoroso HOMER-Noise, confrontando le prestazioni rispetto a SLaTe-PRO, STOT, modelli n-gram standalone e baseline LLM zero-shot.

• Performance Predittiva: Sul dataset pulito HOMER+, GLOBE ha raggiunto un F1-score medio di 0,73, avvicinandosi a SLaTe-PRO (0,74) e superando il modello n-gram standalone (0,72) e l'LLM zero-shot (0,29). GLOBE ha ottenuto specificamente il più alto F1-score per la previsione dell'attività (0,80).
• Efficienza Computazionale: GLOBE ha dimostrato una superiore efficienza di addestramento, richiedendo solo 8,33 secondi rispetto ai 11.415 secondi di SLaTe-PRO. Sebbene la latenza di inferenza sia stata superiore (192,49s rispetto a 93s di SLaTe-PRO) a causa delle chiamate API selettive, questo costo viene sostenuto solo durante gli scenari a bassa confidenza.
• Robustezza al Rumore: In condizioni di rumore strutturato (HOMER-Noise), GLOBE ha superato costantemente SLaTe-PRO in termini di F1-score medio attraverso i tipi di rumore Persona, Animale Domestico e Bambino Piccolo. Notevolmente, GLOBE ha mantenuto una performance stabile nella previsione dell'attività (0,80) attraverso tutti i livelli di rumore, mentre la performance di SLaTe-PRO è degradata significativamente.
• Studi di Ablazione: I risultati hanno indicato che il framework è robusto attraverso vari livelli di rumore nell'addestramento (da 0,25 a 0,75) e che una soglia di confidenza di 0,5 offre il miglior equilibrio tra modellazione sequenziale e intervento dell'LLM.

Significato e Rivendicazioni
L'articolo sostiene che GLOBE affronti lacune critiche nell'assistenza robotica proattiva offrendo una soluzione che sia sia computazionalmente efficiente che robusta alla variabilità ambientale. Sfruttando i punti di forza dei modelli statistici leggeri per i comportamenti di routine e riservando il ragionamento LLM per le situazioni di incertezza, il framework raggiunge un equilibrio tra velocità e adattabilità. L'introduzione di HOMER-Noise fornisce un benchmark più realistico per valutare i sistemi destinati all'impiego nel mondo reale, dove lo stato degli oggetti è frequentemente alterato da fattori non correlati all'attività dell'utente primario. Gli autori validano il potenziale del sistema attraverso un'integrazione proof-of-concept con un manipolatore mobile Stretch 3, dimostrando la sua applicabilità negli scenari di interazione uomo-robot.