🤖 AI

VILAS: A VLA-Integrated Low-cost Architecture with Soft Grasping for Robotic Manipulation

Das Papier stellt VILAS vor, eine kostengünstige, modulare Roboterplattform mit einem auf Kirigami basierenden weichen Greifer und einem einheitlichen Kommunikationsrahmenwerk, die erfolgreich das Training und den Einsatz von vision-sprach-aktions-Modellen des neuesten Standes für die sichere, durchgängige Manipulation zerbrechlicher Objekte wie Trauben demonstriert.

Ursprüngliche Autoren: Zijian An (Luna), Hadi Khezam (Luna), Bill Cai (Luna), Ran Yang (Luna), Shijie Geng (Luna), Yiming Feng (Luna), Yue (Luna), Zheng, Lifeng Zhou

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zijian An (Luna), Hadi Khezam (Luna), Bill Cai (Luna), Ran Yang (Luna), Shijie Geng (Luna), Yiming Feng (Luna), Yue (Luna), Zheng, Lifeng Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, empfindliche Früchte wie Trauben aufzunehmen, ohne sie zu zerquetschen. Normalerweise kostet der Bau eines Roboters, der intelligent genug für diese Aufgabe ist, ein Vermögen – denken Sie an Zehntausende von Dollar – und erfordert komplexe, teure Sensoren, um das „Gefühl" für den ausgeübten Druck zu haben.

Die Autoren dieses Papiers, VILAS, entschieden sich dafür, eine günstigere, intelligentere und zugänglichere Version zu entwickeln. Sie schufen eine „kostengünstige" Roboterplattform, die lernen kann, diese Aufgaben mit einer neuen Art von KI zu bewältigen, die als VLA (Vision-Language-Action)-Modell bezeichnet wird. Stellen Sie sich ein VLA als das Roboterhirn vor, das die Welt „sehen", eine einfache Anweisung „lesen" (wie „Nimm die Traube auf") und sofort herausfinden kann, wie es seinen Arm bewegen muss, um dies zu tun – alles in einem Schritt.

Hier ist eine Aufschlüsselung, wie sie es gebaut haben und was sie herausfanden, unter Verwendung einfacher Analogien:

1. Der Roboter-Körper: Der „budgetfreundliche" Athlet

Anstatt einen 33.000-Dollar-Forschungsroboter (wie das berühmte ALOHA-System) zu kaufen, bauten sie ihren eigenen mit handelsüblichen Teilen, die insgesamt etwa 8.000 Dollar kosteten.

Der Arm: Sie verwendeten einen Fairino FR5, einen kollaborativen Roboterarm. Stellen Sie sich dies als einen zuverlässigen, industrietauglichen Arm vor, der präzise und geschmeidig ist, aber viel günstiger ist als die maßgeschneiderten Arme, die normalerweise in Laboren verwendet werden.
Die Hand: Sie verwendeten einen Standard-Elektrikgreifer (Jodell RG52-50), der wie eine einfache mechanische Hand funktioniert, die sich öffnen und schließen kann.
Die Augen: Sie montierten zwei Kameras: eine, die von oben herabblickt (die „Drohnenansicht"), und eine am Handgelenk (die „Nahaufnahme"), um genau zu sehen, was die Hand berührt.

2. Das Geheimrezept: Der „Origami"-Weichhandschuh

Die größte Herausforderung besteht darin, zerbrechliche Dinge aufzunehmen, ohne sie zu zerdrücken. Normalerweise benötigt man teure Sensoren, um die Kraft zu messen. VILAS verwendete diese nicht. Stattdessen entwarfen sie eine weiche, nachgiebige Erweiterung, die mit einer Technik namens Kirigami hergestellt wurde.

Die Analogie: Stellen Sie sich vor, Sie nehmen ein flaches Blatt Papier und schneiden bestimmte Muster hinein (wie eine Schablone). Wenn Sie dieses Blatt zusammendrücken, knittert es nicht einfach; es faltet und krümmt sich natürlich in eine 3D-Form, wie eine blühende Blume oder eine sich formende Schale.
Wie es funktioniert: Sie druckten diese „Kirigami-Schale" in 3D und befestigten sie am harten Greifer des Roboters. Wenn der Roboter seine Hand schließt, quetscht sich diese weiche Schale und legt sich sanft um die Traube. Sie fungiert wie ein passives Sicherheitsnetz: Das Material selbst absorbiert den Druck und stellt sicher, dass die Traube nicht zerquetscht wird, selbst wenn der Roboter keinen „Fühl"-Sensor hat. Es ist, als würde man einen dicken, weichen Handschuh tragen, der Ihre Hand schützt, ohne dass Sie nachdenken müssen, wie fest Sie drücken.

3. Das Gehirn: Den Roboter mit „Teleoperation" unterrichten

Um den Roboter zu unterrichten, schrieben sie keinen komplexen Code. Stattdessen verwendeten sie ein Teleoperations-System.

Die Analogie: Stellen Sie sich einen Menschen vor, der einen „Master"-Handschuh trägt (ein kostengünstiger, in 3D gedruckter Arm namens GELLO). Wenn sich der Mensch bewegt, kopiert der Roboter (der „Follower") die Bewegung sofort.
Der Mensch nimmt 100 Mal Trauben auf und legt sie in eine Box. Der Roboter zeichnet jede Bewegung, jeden Kamerawinkel und den Sprachbefehl („Nimm die Traube auf") auf. Dies erstellt ein „Lehrbuch" mit 100 Demonstrationen.
Anschließend nahmen sie drei verschiedene, hochmoderne KI-Gehirne ( $\pi_0$ , $\pi_0.5$ und GR00T N1.6) und „feinabstimmten" sie mit diesem Lehrbuch. Sie lehrten die KI nicht von Grund auf neu; sie zeigten ihr einfach ihre spezifischen Beispiele, damit sie die Aufgabe lernen konnte.

4. Die Ergebnisse: Wer gewann das Trauben-Spiel?

Sie testeten die drei KI-Modelle an einer Aufgabe: Nimm drei Trauben nacheinander auf und lege sie in eine Box.

Der „One-Shot"-Champion ( $\pi_0.5$ ): Dieses Modell war am besten darin, eine einzelne Traube erfolgreich aufzunehmen (84 % Erfolgsrate). Es war beim ersten Versuch sehr gut.
Der „Marathon"-Champion (GR00T N1.6): Dieses Modell war am besten für die gesamte Sequenz. Obwohl es beim allerersten Aufnehmen etwas weniger perfekt war (82 %), war es viel besser darin, dranzubleiben. Es nahm erfolgreich zwei Trauben nacheinander in 58 % der Fälle auf, während die anderen nach dem ersten Versuch den Ball fallen ließen.
Das „Stottern"-Problem: Die anderen Modelle neigten dazu, nach der ersten Traube verwirrt zu werden. Sie kehrten oft zu derselben Stelle zurück, von der sie gerade genommen hatten, oder ließen die Traube fallen, weil ihre „Greif"-Anweisungen unsicher wurden. Das GR00T-Modell blieb fokussiert und wiederholte seine Fehler nicht so oft.

5. Die „magische" Generalisierung

Um zu prüfen, ob die Roboter wirklich intelligent waren oder nur die Traube auswendig gelernt hatten, tauschten sie die Trauben gegen Kirschen aus (die anders aussehen: kleiner, röter und glatter). Sie trainierten die Roboter nicht neu; sie änderten nur den Sprachbefehl.

Das Ergebnis: Alle drei Modelle konnten die Kirschen immer noch vernünftig gut aufnehmen. Dies beweist, dass die Roboter das Konzept des „Greifens eines kleinen, runden Objekts" gelernt hatten, anstatt nur das genaue Aussehen einer Traube auswendig zu lernen.

Zusammenfassung

Das Papier beweist, dass man kein Labor mit Millionenbudget benötigt, um einen Roboter zu bauen, der zerbrechliche Aufgaben lernen kann. Durch die Kombination eines günstigen Industriearms, eines in 3D gedruckten „Origami"-Weichhandschuhs und moderner KI-Modelle schufen sie ein System, das lernen kann, empfindliche Früchte aufzunehmen. Es zeigt, dass mit dem richtigen „weichen" mechanischen Design und intelligenter KI kostengünstige Roboter hochpräzise Arbeit leisten können.

Technische Zusammenfassung: VILAS – Eine VLA-integrierte kostengünstige Architektur mit weichem Greifen für die robotische Manipulation

Problemstellung
Die robotische Manipulation zerbrechlicher Objekte, wie frischer landwirtschaftlicher Erzeugnisse, stellt aufgrund der geringen Toleranz dieser Gegenstände gegenüber übermäßigen Kontaktkräften erhebliche Herausforderungen dar. Traditionelle Ansätze verlassen sich häufig auf teure mehrachsige Kraft-Momenten-Sensoren, taktile Arrays oder spezielle Impedanzkontrollsysteme, was die Hardwarekosten und die Systemkomplexität erhöht. Darüber hinaus erfordern die Ausbildung und der Einsatz dieser Modelle, obwohl neuere Fortschritte bei Vision-Language-Action (VLA)-Modellen ein einheitliches Paradigma für die durchgängige robotische Steuerung bieten, typischerweise hochpreisige, proprietäre Robotik-Ökosysteme (z. B. ALOHA-Systeme mit Kosten von ca. 33.000 USD). Dies stellt eine erhebliche finanzielle Hürde für Forscher dar, die lernbasierte Manipulationssysteme auf zugänglicher Hardware entwickeln und erproben möchten.

Methodik
Die Autoren stellen VILAS vor, eine vollständig kostengünstige, modulare robotische Manipulationsplattform, die den gesamten VLA-Workflow unterstützt – von der datenerhebenden Teleoperation über das Feinabstimmen der Strategien bis hin zum Echtzeit-Einsatz.

Hardware-Architektur: Das System integriert drei Hauptkomponenten:
- Manipulator: Ein Fairino FR5 kollaborativer Arm (industrietauglich, bürstenlose Gleichstrommotoren), gewählt aufgrund seiner Bewegungsstetigkeit und Präzision bei Kosten von ca. 4.000 USD.
- Endeffektor: Ein elektrischer Parallelgreifer Jodell RG52-50 (~1.500 USD), ergänzt durch eine kundenspezifische weiche, nachgiebige Erweiterung auf Kirigami-Basis. Diese Erweiterung, hergestellt aus PEBA mittels FDM-3D-Druck, induziert unter kompressiver Belastung eine vorhersagbare Verformung. Sie bietet passive mechanische Nachgiebigkeit, um Schwankungen der Kontaktkraft zu absorbieren, und ermöglicht so das sichere Greifen zerbrechlicher Objekte ohne explizite Kraftmessung.
- Wahrnehmung: Ein Dual-Kamera-Setup bestehend aus einer am Sockel montierten RealSense D455 (Blick auf den globalen Arbeitsraum) und einer am Handgelenk montierten RealSense D405 (Blick auf die Interaktion aus kurzer Distanz), insgesamt ca. 1.000 USD.
- Teleoperation: Ein GELLO-Leader-Arm (~500 USD), aufgebaut aus 3D-gedruckten Teilen und Dynamixel-Servos, der eine kinematisch äquivalente Steuerung zur Datenerhebung bereitstellt.
- Gesamtkosten: Die vollständige Plattform kostet ungefähr 8.000 USD, was deutlich unter den Kosten vergleichbarer Forschungssysteme liegt.
Software und Steuerung: Das System nutzt eine auf ZMQ basierende Kommunikationsarchitektur zur Koordination des Teleoperations-Clients, des Datenrekorders und der Roboterautomaten. Während des Betriebs läuft die Regelkreis-Schleife mit 20 Hz. Das System verwendet eine Strategie des „Action Chunking", bei der eine einzelne Modell-Inferenz eine Sequenz von Aktionen erzeugt (50 Schritte für $\pi_0$ / $\pi_{0.5}$ , 16 Schritte für GR00T N1.6), wodurch die hochfrequente Steuerung von der niedriger frequenten Modell-Inferenz entkoppelt wird.
VLA-Evaluation: Die Autoren haben drei state-of-the-art VLA-Modelle – $\pi_0$ , $\pi_{0.5}$ und GR00T N1.6 – auf der VILAS-Plattform feinabgestimmt und evaluiert. Alle Modelle wurden mit öffentlich verfügbaren vortrainierten Checkpoints initialisiert und auf einem identischen Datensatz von 100 Demonstrationsepisoden feinabgestimmt, die über die VILAS-Teleoperationspipeline gesammelt wurden.

Hauptbeiträge

Systemdesign: Die Implementierung von VILAS, einer vollständig integrierten, kostengünstigen robotischen Plattform, die den durchgängigen VLA-Workflow unter Verwendung modularer, erschwinglicher Komponenten unterstützt.
Innovation beim weichen Greifer: Die Entwicklung einer mechanisch nachgiebigen, auf Kirigami basierenden weichen Erweiterung, die die sichere Manipulation zerbrechlicher Objekte ermöglicht, ohne auf teure Kraftsensoren oder komplexe Kraftregelungsstrategien angewiesen zu sein.
Empirische Benchmarking: Der Einsatz und die vergleichende Evaluation dreier unterschiedlicher VLA-Modelle ( $\pi_0$ , $\pi_{0.5}$ , GR00T N1.6) auf identischer kostengünstiger Hardware und mit Demonstrationsdaten, was praktische Einblicke in deren Einsatzcharakteristika liefert.

Ergebnisse
Experimente wurden an einer Aufgabe zum Greifen von Trauben (Pflücken von 3 Trauben und Ablegen in einer Box) sowie an einem Generalisierungstest mit Kirschen durchgeführt.

Erfolg bei Einzelgreifern: $\pi_{0.5}$ erreichte die höchste Erfolgsrate bei Einzelgreifern (84 %), gefolgt von GR00T N1.6 (82 %) und $\pi_0$ (70 %).
Erfolg bei Mehrfachgreifern: GR00T N1.6 zeigte überlegene Konsistenz bei sequenziellen Aufgaben und erreichte eine Erfolgsrate von 58 %, mindestens zwei aufeinanderfolgende Greifvorgänge abzuschließen. Dies übertraf $\pi_{0.5}$ (36 %) und $\pi_0$ (22 %) signifikant.
Inferenz-Latenz: GR00T N1.6 wies die niedrigste mittlere Inferenz-Latenz auf (63,6 ms), obwohl die Kosten pro Schritt aufgrund eines kürzeren Aktionshorizonts (16 Schritte gegenüber 50 Schritten) höher waren.
Generalisierung: Alle Modelle zeigten ohne zusätzliche Feinabstimmung eine angemessene Leistung bei Kirschen, was darauf hindeutet, dass die erlernten Strategien Manipulationsprimitive erfassen, die sich über visuell unterschiedliche Objekte hinweg generalisieren.
Fehlermodi: Die Analyse ergab, dass $\pi_0$ und $\pi_{0.5}$ Schwierigkeiten mit Updates der räumlichen Aufmerksamkeit (Wiederbesuchen desselben Ortes) und der Konsistenz der Greiferbetätigung hatten. GR00T N1.6 zeigte eine bessere Konsistenz, wies jedoch eine räumliche Verzerrung auf, die dazu neigte, in der Nähe vorheriger Greifpositionen zu suchen.

Bedeutung
Die Arbeit behauptet, dass VILAS die Machbarkeit des Trainings und des Einsatzes leistungsfähiger Manipulationsstrategien auf kostengünstiger, modularer Hardware validiert. Indem gezeigt wird, dass state-of-the-art VLA-Modelle effektiv auf einer Plattform mit ca. 8.000 USD feinabgestimmt und eingesetzt werden können, senkt diese Arbeit die finanzielle Hürde für die Forschung zur robotischen Manipulation. Die Ergebnisse bestätigen, dass mit geeignetem mechanischem Design (weiche, nachgiebige Greifer) und Systemintegration eine hochleistungsfähige, VLA-basierte Manipulation zugänglich ist, ohne auf teure proprietäre Ökosysteme oder explizite Kraftmessung angewiesen zu sein. Die Autoren positionieren VILAS als reproduzierbaren und zugänglichen Teststand für zukünftige VLA-Evaluationen an echter Hardware.