ExPrIS: Knowledge-Level Expectations as Priors for Object Interpretation from Sensor Data

Sintesi Tecnica: ExPrIS – Aspettative a Livello di Conoscenza come Prior per l'Interpretazione degli Oggetti

Definizione del Problema
Sebbene il deep learning abbia fatto progressi significativi nel riconoscimento di oggetti da parte dei robot attraverso approcci basati sui dati, questi metodi spesso mancano di coerenza semantica e non riescono a sfruttare la preziosa conoscenza preesistente sull'ambiente. I modelli puramente basati sui dati faticano con il contesto ambientale, in particolare riguardo alle aree occluse o agli oggetti non osservati di recente. Inoltre, gli approcci esistenti alla costruzione di 3D Semantic Scene Graphs (3DSSG) open-set si affidano tipicamente solo alla potenza delle reti neurali profonde sottostanti, ignorando le osservazioni pregresse derivanti dai flussi di dati dei sensori o dalla conoscenza di alto livello. La domanda di ricerca centrale affrontata è come elaborare efficacemente le aspettative derivate da un livello di conoscenza come prior all'interno dei moderni metodi di generazione di scene graph.

Metodologia
Il progetto ExPrIS propone un'architettura basata sulla costruzione incrementale di un 3D Semantic Scene Graph (3DSSG) per integrare le aspettative a livello di conoscenza. La metodologia è strutturata attorno a tre componenti principali:

1. Architettura 3DSSG Dinamica:

   • Il sistema utilizza un grafo eterogeneo organizzato in una gerarchia di più livelli con diversi tipi di nodi e archi, che vanno da oggetti di basso livello a concetti di alto livello (stanze, edifici).
   • A differenza delle gerarchie rigide (ad esempio, strutture oggetto-luogo-stanza fisse) o delle semplici connessioni basate su euristiche di distanza, il design proposto è modulare ed estendibile. Separa le relazioni spaziali da quelle semantiche e supporta l'inferenza dinamica di concetti compositi.
   • Per la rappresentazione geometrica, il sistema impiega volumi di delimitazione (bounding volumes) e griglie di voxel sparsi anziché mesh TSDF (Truncated Signed Distance Function). Questa scelta privilegia l'efficienza di archiviazione, manipolazione e l'elaborazione rapida accelerata da GPU tramite l'integrazione con PyTorch, che è sufficiente per il ragionamento semantico e i compiti downstream senza l'elevato carico computazionale della ricostruzione densa.
   • Il grafo è costruito incrementalmente dai dati dei sensori (RGB-D) in modo bottom-up, derivando la struttura dalle relazioni di contatto fisico e di supporto tra gli oggetti.

2. Generazione di Aspettative Basata sulla Conoscenza:

   • Il sistema definisce le "aspettative" come informazioni aggiuntive disponibili prima di un passaggio di inferenza. Vengono integrati due tipi:
     • Contesto: Informazioni dinamiche da osservazioni precedenti, specificamente il 3DSSG globale costruito dai frame precedenti.
     • Conoscenza: Informazioni statiche e generali del dominio provenienti da grafi di conoscenza esterni, nello specifico ConceptNet.
   • Per gestire il rumore e le dimensioni di ConceptNet, il sistema estrae sottografi rilevanti utilizzando una ricerca in ampiezza (breadth-first search) basata su classi di nodi e tipi di relazione specifici. Implementa inoltre algoritmi di embedding del grafo per generare vettori di caratteristiche per il passaggio di messaggi (message passing), offrendo alternative agli embedding pre-calcolati.

3. Apprendimento Machine-Learning Biased dalle Aspettative:

   • Il meccanismo di apprendimento principale impiega una Rete Neurale su Grafo Eterogeneo (Heterogeneous Graph Neural Network - GNN), come GraphSAGE o HGT.
   • L'architettura presenta uno strato globale (che aggrega le osservazioni storiche e i prior semantici) e uno strato locale (che rappresenta il frame corrente).
   • Gli archi cross-layer facilitano il flusso di informazioni, permettendo al modello di affinare le predizioni per oggetti parzialmente osservati sfruttando il contesto accumulato.
   • I nodi globali sono arricchiti con feature basate sui prior (ad esempio, etichette precedentemente predette, embedding CLIP). Questi prior sono integrati direttamente nella struttura del grafo piuttosto che essere codificati come vettori fissi.
   • L'obiettivo di addestramento si concentra su una perdita composita (composite loss) sulle predizioni di nodi e archi nel grafo locale. Fondamentalmente, il grafo globale funge da meccanismo di bias durante l'inferenza, non come segnale di supervisione diretta per la funzione di perdita.

Contributi Chiave

• Integrazione dei Prior di Conoscenza: Il lavoro presenta un approccio innovativo per incorporare sia i prior contestuali (dai dati sensoriali passati) che la conoscenza semantica (da grafi esterni come ConceptNet) direttamente nel processo di inferenza della generazione di 3DSSG.
• Design Modulare 3DSSG: Introduce un design a livelli flessibile ed estendibile per i 3DSSG che va oltre le gerarchie rigide e le semplici euristiche di distanza, supportando l'inferenza dinamica e le astrazioni specifiche del dominio.
• Rappresentazione Geometrica Efficiente: L'adozione di volumi di delimitazione e griglie di voxel sparsi rispetto alle mesh TSDF consente un'elaborazione scalabile ed efficiente, adatta alla percezione robotica in tempo reale pur mantenendo una fedeltà sufficiente per i compiti semantici.
• GNN Biased dalle Aspettative: Lo sviluppo di un framework di apprendimento in cui il grafo globale agisce come un meccanismo di bias attivo e dinamico durante l'inferenza, migliorando la robustezza e la coerenza semantica nel tempo.

Risultati e Valutazione
Il documento non presenta risultati sperimentali finali da un robot distribuito, poiché il lavoro è attualmente nella fase di progettazione architettonica e analisi offline.

• Stato Attuale: L'implementazione del 3DSSG è modulare. Il modello GNN biased dalle aspettative è stato valutato nel contesto dell'architettura proposta, con risultati dettagliati e codice disponibili in una pubblicazione separata [15] e su GitHub.
• Valutazione Pianificata: Gli autori delineano un piano di valutazione completo che sarà condotto sulla piattaforma di manipolazione mobile Mobipick. Il sistema sarà incaricato di uno scenario di "riordino" (tidy-up) in un ambiente di laboratorio. Ciò comporta:
  1. Esplorare l'ambiente per costruire una mappa semantica.
  2. Identificare e ricollocare oggetti che sono "fuori posto".
  3. Ragionare sia sul contesto semantico attuale che su quello corretto per risolvere le ambiguità.
• Risultati Ipotizzati: Gli autori ipotizzano che l'approccio biased dalle aspettative dimostrerà chiari vantaggi rispetto ai modelli context-free frame-per-frame, specificamente in termini di migliore coerenza semantica e stabilità durante l'operatività a lungo termine, anche in presenza di osservazioni parziali o ambiguità percettive.

Significatività
La significatività del progetto ExPrIS risiede nel suo tentativo di colmare il divario tra il deep learning puramente basato sui dati e il ragionamento basato sulla conoscenza nella robotica. Trattando le aspettative a livello di conoscenza come prior, l'approccio mira ad andare oltre l'analisi statica frame-per-frame per creare una comprensione delle scene più robusta e semanticamente coerente nel tempo. Questa integrazione è progettata per supportare l'operatività autonoma a lungo termine, la mappatura semantica su larga scala e l'IA Spiegabile (XAI) rendendo tracciabile l'influenza della conoscenza sulle predizioni locali. Il progetto lavora in tandem con il progetto gemello LIEREx, che incorpora modelli visione-linguaggio per query open-vocabulary, con l'obiettivo di combinare la conoscenza simbolica con la percezione multimodale open-set.