💻 computer science

From Vision to Assistance: Gaze and Vision-Enabled Adaptive Control for a Back-Support Exoskeleton

Diese Arbeit präsentiert und validiert ein visionsgesteuertes Kontrollframework für ein Rückenunterstützungsexoskelett, das egozentrische Vision und Blickverfolgung integriert, um die Unterstützung basierend auf Echtzeit-Greiferkennung dynamisch anzupassen, wodurch der Benutzerkomfort, das Vertrauen und die Reduzierung der körperlichen Belastung im Vergleich zu nicht-visionsbasierten oder passiven Systemen signifikant verbessert werden.

Ursprüngliche Autoren: Alessandro Leanza, Paolo Franceschi, Blerina Spahiu, Loris Roveda

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alessandro Leanza, Paolo Franceschi, Blerina Spahiu, Loris Roveda

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Bauarbeiter, der den ganzen Tag schwere Kisten aus einem niedrigen Behälter heben muss. Ihr Rücken ist Ihr wertvollstes Werkzeug, aber er ist auch das, was am meisten ermüdet und verletzt wird. Wissenschaftler haben „Rückenstütz-Exoskelette“ entwickelt – im Grunde robotergestützte Schienen –, die wie ein superstarker Helfer wirken, um etwas Gewicht von Ihrer Wirbelsäule zu nehmen.

Es gibt jedoch einen Haken: Das Timing ist alles.

Wenn Ihr Roboterhelfer zu früh gegen Ihren Rücken drückt, fühlt es sich seltsam an und steht Ihnen im Weg. Wenn er zu spät drückt, haben Sie Ihren Rücken bereits beim Versuch belastet, die Kiste selbst anzuheben. Die meisten aktuellen Roboter sind ein wenig „blind“. Sie wissen nur anhand dessen, wie stark Sie sich nach vorne beugen, wann sie helfen müssen. Sie wissen nicht, was Sie eigentlich gerade tun, bis Sie bereits mit der Bewegung begonnen haben.

Dieses Paper stellt einen neuen Weg vor, um diese Roboter intelligenter zu machen: ihnen Augen und ein Gefühl dafür zu geben, wohin man schaut.

Die „Smart Glasses“-Lösung

Die Forscher statteten die Arbeiter mit speziellen Brillen aus, die zwei Dinge gleichzeitig tun:

Sie verfolgen Ihre Augen: Sie wissen genau, wohin Sie starren.
Sie „sehen“ die Kiste: Mithilfe einer Kamera und KI (eine Art Computer Vision namens YOLO) können sie erkennen, ob eine Kiste dort steht oder ob Sie sie bereits gegriffen haben.

Stellen Sie sich das wie einen Tanzpartner vor.

Der alte Weg (Nur Körperhaltung): Ihr Partner wartet, bis Sie sich so weit nach vorne lehnen, dass Sie fast umfallen, und fängt Sie dann ab. Das ist eher eine Reaktion, und Sie könnten kurz stolpern, bevor er Sie auffängt.
Der neue Weg (Vision-Gated): Ihr Partner beobachtet Ihre Augen. In dem Moment, in dem Sie die Kiste fixieren und Ihre Hände danach greifen, weiß er: „Ah, sie werden gleich heben!“ Er beginnt, nach oben zu drücken, noch bevor Sie die Belastung überhaupt spüren. Er antizipiert Ihre Bewegung.

Wie es funktioniert (Das „Ampel“-System)

Der Roboter nutzt ein einfaches Logiksystem (ähnlich einer Ampel), um zu entscheiden, wann er hilft:

Rotes Licht (Keine Hilfe): Sie stehen still oder die Kiste steht einfach nur auf dem Boden. Der Roboter bleibt ruhig, damit Sie nicht das Gefühl haben, gegen eine Maschine zu kämpfen.
Grünes Licht (Volle Hilfe): In dem Moment, in dem der Roboter sieht, dass Ihre Augen auf die Kiste fixiert sind und Ihre Hände sie greifen, öffnet sich das „Tor“. Der Roboter weiß sofort: „Okay, der Hub hat begonnen!“ und wendet sofort zusätzliche Kraft an, um Sie beim Aufstehen zu unterstützen.

Das Experiment

Das Team testete dies mit 15 Freiwilligen, die wiederholt eine 4 kg (ca. 9 lbs) schwere Kiste hoben. Sie testeten drei Szenarien:

Kein Roboter: Nur das normale Heben der Kiste.
Roboter mit „blinden“ Augen: Der Roboter hilft nur basierend darauf, wie weit die Person nach vorne gebeugt ist.
Roboter mit „smarten“ Augen: Der Roboter hilft basierend darauf, wohin die Person schaut und ob sie die Kiste hält.

Was sie herausfanden

Die Ergebnisse waren eindeutig: Die Version mit den „smarten Augen“ war der Gewinner.

Es fühlte sich leichter an: Die Teilnehmer berichteten, dass die Aufgabe körperlich viel weniger anstrengend war, wenn der Roboter sehen konnte, was sie taten.
Es fühlte sich flüssiger an: Die Hilfe setzte genau im richtigen Moment ein, nicht einen Bruchteil zu spät. Dies machte die gesamte Bewegung natürlicher und flüssiger.
Mehr Vertrauen: Da der Roboter genau dann half, wenn es nötig war, vertrauten die Arbeiter ihm mehr und fühlten sich wohler beim Tragen.

Das Fazit

Dieses Paper beweist, dass die Fähigkeit eines Rückenstütz-Roboters, zu „sehen“, was man tut, und zu „beobachten“, wohin man schaut, ihn zu einem viel besseren Helfer macht. Es verhindert, dass der Roboter nur rät, und lässt ihn stattdessen antizipieren. Anstatt nur auf das Beugen des Körpers zu reagieren, reagiert er auf die Absicht zu heben, was die Arbeit leichter und sicherer macht.

Hinweis: Die Studie wurde in einem kontrollierten Labor mit einer spezifischen 4-kg-Kiste durchgeführt. Die Forscher merkten an, dass Kisten in der realen Welt unterschiedliche Gewichte oder Größen haben könnten, was ein Thema für zukünftige Arbeiten ist.

Technisches Resümee: Von der Vision zur Assistenz: Blick- und visionsgestützte adaptive Steuerung für ein Rückenunterstützungs-Exoskelett

Problemstellung
Rückenschmerzen sind eine weit verbreitete arbeitsbedingte Störung, wobei aktive Rückenunterstützungs-Exoskelette als Lösung vorgeschlagen werden, um die Wirbelsäulenbelastung umzuverteilen. Die Effektivität aktiver Exoskelette hängt jedoch entscheidend von einer zeitnahen, kontextbewussten Unterstützung ab. Bestehende Steuerungsstrategien verlassen sich typischerweise auf reaktive Benutzersignale (z. B. IMU, EMG oder angewendetes Drehmoment) oder statische Visionssysteme, die den Regelkreis nicht direkt informieren. Diese Ansätze mangelt es oft an der Fähigkeit, die operative Umgebung wahrzunehmen, was zu unzeitgemäßer Unterstützung führt, die das Vertrauen, den Komfort und die langfristige Akzeptanz des Nutzers verringern kann. Insbesondere haben aktuelle Systeme Schwierigkeiten, zwischen einem Nutzer, der sich lediglich bückt, um ein Objekt anzusehen, und einem Nutzer, der aktiv nach einem Objekt greift, zu unterscheiden, was zu Verzögerungen bei der Drehmomentabgabe während kritischer Hebephasen führt.

Methodik
Die Autoren schlagen ein visionsgesteuertes Kontrollframework für ein aktives lumbales Arbeits-Exoskelett vor, das egozentrische Vision mit tragbarem Gaze-Tracking integriert, um kontextbewusste Unterstützung zu ermöglichen. Die Systemarchitektur umfasst drei Hauptkomponenten:

Perzeptionsmodul: Unter Verwendung einer am Tobii Pro Glasses 3 montierten First-Person-Kamera streamt das System RGB-Frames und Blickkoordinaten. Ein fein abgestimmter YOLOv9-Detektor klassifiziert Objekte als „Gegriffen“ (Grasped) oder „Nicht Gegriffen“ (Not Grasped). Durch die Abbildung der Blickfixation des Nutzers auf die Bildebene generiert das System binäre Indikatoren ( $\chi^+_t$ und $\chi^-_t$ ), um zu bestimmen, ob der Nutzer auf ein gegriffenes Objekt fixiert ist. Eine zeitliche Filterlogik (gleitendes Fenster mit Verweilrate) konvertiert diese Indikatoren in ein robustes binäres Visionsgate ( $\mathbb{1}_{box}$ ), wodurch sichergestellt wird, dass Übergänge echte Greifereignisse widerspiegeln und keine transienten Fluktuationen sind.
Endlicher Automat (Finite-State Machine, FSM): Die FSM steuert den Aufgabenfortschritt durch vier Zustände: (0) Stehen ohne Box, (1) Beugen zum Aufnehmen, (2) Stehen mit Box und (3) Beugen zum Ablegen. Übergänge werden durch Rumpfneigungsschwellen ( $\theta_{stand}$ , $\theta_{bend}$ ) und das Visionsgate ausgelöst. Entscheidend ist, dass das Visionsgate es dem System ermöglicht, den Übergang vom „Beugen zum Aufnehmen“ zum „Stehen mit einer Box“ (Zustand 1 $\to$ 2) autonom auszulösen und die Freigabe (Zustand 3 $\to$ 0) basierend auf dem Griffzustand zu verwalten, anstatt sich ausschließlich auf die Körperhaltung zu verlassen.
Variable Admittanzsteuerung: Der Controller liefert unterstützendes Drehmoment ( $\tau_{ass}$ ) über ein Admittanzgesetz. Das Referenzdrehmoment ist eine gewichtete Summe aus Rumpfdrehmoment ( $\tau_w$ ) und Box-Drehmoment ( $\tau_{box}$ ). Die Einbeziehung von $\tau_{box}$ wird durch das Visionsmodul gesteuert. Das System verwendet eine variable Steifigkeitsstrategie, die zwischen „Soft“ (rücktreibbar, $K=0$ ) und „Hard“ (steif, $K \ge K_{min}$ ) Modi wechselt, basierend auf der Bewegungsgeschwindigkeit, mit geglätteten Übergängen, um einen flüssigen Ablauf zu gewährleisten.

Experimentelles Protokoll
Es wurde eine Nutzerstudie mit 15 gesunden Probanden durchgeführt, die wiederholte Stooping-Lasthebeprozesse mit einer 4 kg schweren Box ausführten. Die Studie verglich drei Bedingungen:

EC1: Kein Exoskelett (Baseline).
EC2: Exoskelett mit posturesbasierter Steuerung (ohne Vision).
EC3: Exoskelett mit visionsgesteuerter Steuerung.

Die Teilnehmer waren sich der Aktivierung der Vision in EC2 gegenüber EC3 nicht bewusst, um Bias zu vermeiden. Die Leistung wurde durch objektive Drehmomentanalysen und einen 13-stufigen Likert-Fragebogen bewertet, der physische Belastung, Flüssigkeit, Vertrauen und Komfort untersuchte.

Kernergebnisse

Perzeptionsgenauigkeit: Die YOLO-basierte Objekterkennung erreichte einen makro-gemittelten F1-Score von 92,35 % (Präzision: 92,84 %, Recall: 91,86 %).
Physische Belastung: Die statistische Analyse (Friedman-Test, $p < 0,001$ ) zeigte, dass die visionsgesteuerte Bedingung (EC3) die wahrgenommene physische Belastung im Vergleich sowohl zur Baseline ohne Exoskelett als auch zum posturesbasierten Exoskelett (EC2) signifikant reduzierte. Die EC3-Werte waren mit einem Mittelwert von 3,60 deutlich höher als die von EC2 (Mittelwert 2,13).
Nutzererfahrung: Für alle subjektiven Metriken (Flüssigkeit, Vertrauen, Komfort, gegenseitiges Verständnis) schnitt der visionsgesteuerte Modus signifikant besser ab als der posturesbasierte Modus (Wilcoxon-Vorzeichen-Rang-Tests, $p < 0,05$ nach Holm-Korrektur). Die Effektstärken waren groß (Kendall's $W = 0,752$ für physische Belastung; rang-biseriale Korrelationen oft $\ge 0,80$ ).
Steuerungsleistung: Die quantitative Analyse zeigte, dass die Visionssteuerung eine frühere und stärkere Unterstützung ermöglichte. Das System reduzierte die Latenz zwischen dem tatsächlichen Griff und dem Drehmomentbeginn, insbesondere während des kritischen Übergangs vom Beugen zum Heben. Die Teilnehmer mussten keinen spezifischen Haltungsschwellenwert erreichen, um Unterstützung zu erhalten, da das System die Aufgabe basierend auf dem Greifereignis antizipierte.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die Integration von egozentrischer Vision und Gaze-Tracking in den Regelkreis eines aktiven Rückenunterstützungs-Exoskeletts die Reaktionsfähigkeit, Ergonomie, Sicherheit und Nutzerakzeptanz des Systems signifikant verbessert. Durch den Übergang von einer rein reaktiven, posturesbasierten Steuerung zu einer proaktiven, kontextbewussten Unterstützung adressiert das vorgeschlagene Framework die „Blindheit“ aktueller Exoskelette gegenüber der operativen Umgebung. Die Ergebnisse legen nahe, dass die visionsgesteuerte Unterstützung die Natürlichkeit der Mensch-Roboter-Kollaboration verbessert und somit das Vertrauen und den Komfort fördert, welche als kritische Faktoren für die industrielle Einführung aktiver Exoskelette identifiziert wurden.

Einschränkungen und zukünftige Arbeiten
Die Autoren räumen ein, dass die Studie unter kontrollierten Laborbedingungen mit einem einzigen Box-Typ und bekanntem Gewicht durchgeführt wurde. Sie merken an, dass zukünftige Arbeiten variable Lasten adressieren müssen, potenziell durch Online-Gewichtsschätzung oder dynamische Anpassung. Zudem konzentrierte sich die aktuelle Studie auf die lumbale Unterstützung; zukünftige Iterationen zielen darauf ab, eine koordinierte Steuerung von Lenden- und Hüftgelenken zu integrieren, um vielfältige Aufgaben wie Hocken und Gehen zu unterstützen.