Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts
Diese Arbeit zeigt, dass die Integration der Mamba-basierten selektiven Zustandsraummodellierung in den SmolVLA-Aktionsexperten die Genauigkeits-Komplexitäts-Abwägung von Vision-Language-Action-Modellen signifikant verbessert, indem sie während der Langzeit-Ausführung überlegenere Erfolgsraten im Vergleich zu Transformer-Baselines erzielt und gleichzeitig die Parameterkomplexität unter pro-Aktions-Replanung um 24 % reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Roboter lernen die Welt nicht nur durch das Sehen zu verstehen, sondern auch, indem sie Anweisungen lesen und dann ihre Arme bewegen, um eine Aufgabe zu erledigen. Dieses Feld, bekannt als Vision-Language-Action, stützt sich auf leistungsstarke Computergehirne, die ein Bild einer Szene und einen Satz beschreiben, der eine Aufgabe erläutert, und dann genau berechnen, wie sie eine Roboterhand bewegen müssen, um sie zu vollenden. Die Herausforderung für Ingenieure besteht darin, Geschwindigkeit mit Intelligenz in Einklang zu bringen. Wenn ein Roboter vor jeder winzigen Bewegung zu viel nachdenkt, bewegt er sich so langsam, dass er unbrauchbar wird. Aber wenn er eine lange Abfolge von Bewegungen auf einmal plant, um Zeit zu sparen, riskiert er Fehler, da sich die Welt verändern kann, während er diese vorab geplanten Schritte ausführt. Das Ziel ist es, einen Weg zu finden, damit der Roboter sowohl schnell als als auch präzise ist – ein Gleichgewicht, das schwer zu erreichen war.
Ein Team von Forschern hat einen neuen Weg gefunden, um dieses Gleichgewicht zugunsten der Geschwindigkeit zu verschieben, ohne die Genauigkeit zu opfern. Sie testeten eine neue Art von Computerarchitektur, die ursprünglich für die Sprachverarbeitung entwickelt wurde, im Gehirn eines Roboters. Durch den Austausch der Standard-Denkmaschine gegen dieses neue Design entdeckten sie, dass der Roboter viel längere Bewegungssequenzen planen und dennoch erfolgreich sein konnte. In ihren Tests konnte der Roboter, als man ihm erlaubte, eine vollständige Sequenz von fünfzig Bewegungen auszuführen, bevor er seine Umgebung erneut prüfte, mit dem neuen Design fast acht Prozent häufiger die Aufgabe erfolgreich abschließen als mit dem alten Design. Diese Verbesserung ist signifikant, da sie bedeutet, dass Roboter in der realen Welt viel schneller operieren könnten, indem sie weniger Pausen zum Nachdenken machen, während sie die Aufgabe dennoch korrekt erledigen.
Die Forscher begannen mit einem populären Robotergehirn namens SmolVLA, das bereits für seine Effizienz und Genauigkeit bekannt ist. Dieses System arbeitet, indem es einen Kamerastream und eine Textanweisung betrachtet und dann ein „Chunk“ (ein Paket) zukünftiger Bewegungen vorhersagt. Anstatt nur eine einzige Bewegung zu entscheiden, sagt es eine ganze Serie von Aktionen voraus, wie einen kurzen Film darüber, was der Arm als Nächstes tun sollte. Der Roboter führt dann die ersten paar Bewegungen dieser Serie aus, hält inne, betrachtet die Welt erneut und plant eine neue Serie. Die Anzahl der Bewegungen, die es ausführt, bevor es stoppt, wird als Ausführungshorizont bezeichnet. Wenn es nach jeder einzelnen Bewegung stoppt, ist es sehr genau, aber sehr langsam. Wenn es die ganze Serie ohne Stopp durchläuft, ist es schnell, aber anfällig für Fehler, falls sich die Umgebung ändert.
Um dies zu lösen, ersetzten die Forscher den Teil des Robotergehirns, der den zeitlichen Ablauf dieser Bewegungssequenzen steuert. Das ursprüngliche System verwendete eine Standardmethode namens Self-Attention, die wie ein Scheinwerfer funktioniert, der es jedem Teil des Bewegungsplans ermöglicht, auf jeden anderen Teil zurückzublicken, um koordiniert zu bleiben. Die Forscher tauschten dies gegen eine andere Methode namens Mamba aus, die Informationen eher wie einen stetigen Strom von Aktualisierungen verarbeitet als wie einen Scheinwerfer. Diese neue Methode ist wesentlich leichter für die Computerressourcen, da sie etwa vierundzwanzig Prozent weniger Parameter erfordert, die gelernt werden müssen, doch sie handhabt den Fluss der Zeit anders.
Das Team unterzog beide Versionen des Robotergehirns einem Test in einer simulierten Umgebung, die mit vierzig verschiedenen Aufgaben gefüllt war, die vom Stapeln von Blöcken bis hin zum Bewegen von Objekten an spezifische Ziele reichten. Sie ließen die Roboter diese Aufgaben unter drei verschiedenen Bedingungen durchführen: Stopp nach jeder einzelnen Bewegung, Stopp nach zwanzigfünf Bewegungen und Stopp nach den vollen fünfzig Bewegungen. Wenn die Roboter nach jeder Bewegung anhielten, waren beide Versionen fast identisch in ihrer Leistung, wobei das neue Design die Erfolgsrate des alten Designs erreichte. Doch als die Roboter angewiesen wurden, längere Sequenzen ohne Zwischenstopp auszuführen, wurde der Unterschied deutlich. Der Roboter mit dem neuen Mamba-Design hielt sich viel besser über Wasser. Als er angewiesen wurde, fünfzig Bewegungen zu absolvieren, bevor er erneut nachsah, war das neue Design in 61,8 Prozent der Versuche erfolgreich, während das ältere Design nur in 53,9 Prozent erfolgreich war.
Diese Lücke vergrößerte sich bei bestimmten Arten von Aufgaben noch weiter. Wenn der Roboter Objekte an präzise Orte bewegen musste, verbesserte das neue Design die Erfolgsraten bei dem längsten Horizont um fast achtzehn Prozent. Selbst bei Aufgaben, die räumliche Anordnungen betrafen, verbesserte es sich um zehn Prozent. Die Forscher fanden heraus, dass das neue Design besonders gut darin war, die späteren Bewegungen in einer Sequenz mit den früheren zu koordinieren, selbst wenn der Roboter nach einem Plan handelte, der nicht mehr mit frischen visuellen Informationen aktualisiert wurde. Dies deutet darauf hin, dass die neue Architektur einen natürlichen Vorteil darin hat, vorherzusagen, wie sich eine Sequenz von Aktionen über die Zeit entfalten sollte.
Die Studie bestätigt, dass die Art und Weise, wie ein Roboter seine Bewegungen plant, genauso wichtig ist wie die Häufigkeit, mit der er seine Umgebung überprüft. Durch die Änderung des internen Motors, der eine Sequenz von Aktionen koordiniert, zeigten die Forscher, dass Roboter schneller und effizienter gemacht werden können, ohne tollpatschig zu werden. Das neue Design verbesserte nicht nur die Erfolgsrate für lange Sequenzen, sondern reduzierte auch die Gesamtzahl der Computerparameter, die zur Ausführung des Systems benötigt werden. Dies bedeutet, dass Roboter in Zukunft in realen Umgebungen eingesetzt werden könnten, in denen sie schnell und kontinuierlich agieren müssen, indem sie sich auf längere Pläne verlassen, die über längere Zeiträume hinweg präzise bleiben. Die Arbeit zeigt, dass die richtige architektonische Wahl einen besseren Kompromiss zwischen Geschwindigkeit und Präzision ermöglichen kann, was den Traum von schnellen, zuverlässigen Roboterassistenten einen Schritt näher zur Realität bringt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.