ThermoAct:Thermal-Aware Vision-Language-Action Models for Robotic Perception and Decision-Making

Probleemstelling

In de huidige mens-robot samenwerking wordt steeds meer nadruk gelegd op het integreren van diverse sensordata voor veiligere en intelligentere taakuitvoering. Hoewel thermische data cruciaal kan zijn voor veiligheid (bijv. het detecteren van hete voorwerpen) en operationele efficiëntie, wordt deze modality in eerdere VLA-onderzoeken (Vision-Language-Action) grotendeels genegeerd. Bestaande systemen vertrouwen voornamelijk op RGB-beelden, wat beperkingen oplevert:

• Robots kunnen fysieke eigenschappen zoals temperatuur niet waarnemen (bijv. het kiezen van de "koudste" cola of het vermijden van een hete haarglans).
• End-to-end VLA-modellen hebben moeite met complexe redenering op lange termijn, vooral gezien het gebrek aan grote, vooraf getrainde datasets voor thermische beelden.
• Systemen zonder thermisch inzicht kunnen situaties met brandgevaar of oververhitting niet proactief herkennen.

Methodologie: ThermoAct Framework

Het paper introduceert ThermoAct, een hiërarchisch framework dat thermische informatie integreert in robotperceptie en besluitvorming. De architectuur bestaat uit twee hoofdcomponenten:

1. VLM Planner (High-Level):

   • Gebruikt een Vision-Language Model (in dit geval Gemini 2.0 Flash) als hoogste niveau.
   • Ontvangt natuurlijke taalcommando's, RGB-beelden en thermische beelden.
   • Voert redenering uit en decomponeert complexe taken in eenvoudigere, uitvoerbare sub-taken (bijv. "detecteer de hete batterij" -> "pak de batterij").
   • Dit lost het probleem op van het gebrek aan grote datasets door complexe taken te breken in kleinere eenheden die makkelijker te leren zijn.

2. VLA Executor (Low-Level):

   • Gebaseerd op het $\pi_0$-model, een Vision-Language-Action model.
   • Ontvangt de gedecomponeerde sub-taken en realtime sensorinput (thermische beelden, RGB-beelden van de pols en externe camera, en robottoestand).
   • Voorspelt directe acties (joint-angles, gripper-controle, stop-flag) met een frequentie van 10 Hz.
   • Data-voorbereiding: Ruwe thermische data (256x192) wordt genormaliseerd (20-35°C), gekwantiseerd naar 8-bit grijs en gemapt naar de "INFERNO" pseudokleurenpalet (donkerpaars voor koud, heldergeel/wit voor heet) om compatibel te zijn met de VLA-encoder.

Experimentele Opstelling:

• Robot: 7-DoF Kinova Gen3 Lite.
• Sensoren: Realsense D435 (pols), Realsense L515 (extern RGB), en ThermoEye TMC256B (extern thermisch).
• Training: Fine-tuning met LoRA op datasets van 30, 50 en 70 demonstraties per taak.

Belangrijkste Bijdragen

1. Integratie van Thermische Data in VLA: Het is de eerste studie die thermische beelden succesvol integreert in een Vision-Language-Action framework voor robotmanipulatie, waardoor robots temperatuur-gevoelige beslissingen kunnen nemen.
2. Hiërarchische Architectuur: Het bewijst dat het combineren van een VLM-planner met een VLA-executor een effectieve strategie is om de schaarste aan thermische trainingsdata te overwinnen en complexe, lange-termijn taken stabiel uit te voeren.
3. Veiligheid en Redenering: Het systeem kan niet alleen objecten selecteren op basis van temperatuur (bijv. "koudste blik"), maar ook veiligheidsrisico's detecteren en mitigatie-acties ondernemen (bijv. een hete haarglans uitschakelen).

Resultaten

De prestaties werden getest in vijf real-world scenario's, variërend van dagelijkse taken tot veiligheidskritieke situaties:

• Vergelijking Modaliiteiten (RGB-RGB vs. RGB-T):

  • De voorgestelde RGB-T (ThermoAct) modale bereikte een totale succesrate van 76,8% over alle taken, vergeleken met 59,4% voor het RGB-RGB-baseline.
  • Bij thermisch afhankelijke taken (zoals het pakken van een warme kop of het uitschakelen van een haarglans) steeg de succesrate aanzienlijk (bijv. van 30% naar 90% voor het uitschakelen van de haarglans).
  • Het model behield robuuste prestaties zelfs in taken die niet direct thermisch waren, hoewel er een lichte daling was in taken die dieptewaarneming vereisten (waarschijnlijk door beperkingen van de externe camera).

• Hiërarchisch vs. Flat VLA:

  • Een "Flat VLA" (end-to-end leren zonder decompositie) faalde bijna volledig (succesrate ~0-18%) bij lange-termijn taken.
  • De hiërarchische aanpak met VLM-decompositie zorgde voor stabiele uitvoering, met succesraten die vaak boven de 70-80% lagen voor individuele sub-taken.

• Dynamische Omgevingen:

  • De robot slaagde erin om een oververhitte batterij van een lopende band te pakken met een succesrate van 80%, wat aantoont dat thermische perceptie ook werkt in dynamische scenario's.

Betekenis en Conclusie

ThermoAct demonstreert dat het toevoegen van thermische waarneming aan robotica systemen aanzienlijk verbetert in termen van veiligheid en intelligentie, zelfs met beperkte trainingsdata. De studie benadrukt dat:

• Thermische sensoren essentieel zijn voor het begrijpen van fysieke eigenschappen die voor het blote oog onzichtbaar zijn.
• Een hiërarchische architectuur (VLM + VLA) een praktische oplossing biedt voor het gebrek aan grote, vooraf getrainde thermische datasets.
• Toekomstig werk moet zich richten op het fuseren van modaliiteiten (thermisch + diepte) om de beperkingen in dieptewaarneming en het gezichtsveld van de polscamera te overwinnen.

Kortom, dit werk opent de weg voor robuustere, veiligere en meer adaptieve robots die kunnen opereren in realistische omgevingen waar temperatuur een kritieke factor is.