PEPA: a Persistently Autonomous Embodied Agent with Personalities

Die Arbeit stellt PEPA vor, ein dreischichtiges kognitives Architekturkonzept für einen körperlichen Agenten, der durch integrierte Persönlichkeitsmerkmale persistente Autonomie erreicht, indem er selbstständig Ziele generiert und sich ohne externe Vorgabe in dynamischen Umgebungen verhält.

Das Wesentliche

Stellen Sie sich einen Roboter vor, der nicht wie ein strenger Befehlsempfänger funktioniert, sondern wie ein lebendiges Wesen mit einer eigenen Persönlichkeit. Genau das ist das Ziel des neuen Projekts PEPA.

Hier ist die einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der Roboter ohne Kompass

Bisher waren Roboter wie Autopiloten in einem Flugzeug. Sie können nur das fliegen, was ihnen der Pilot (der Mensch) vorgibt. Wenn der Pilot nicht da ist oder die Situation völlig neu ist (z. B. ein unerwartetes Hindernis), weiß der Roboter nicht, was er tun soll. Er wartet auf neue Anweisungen.

Das ist im echten Leben schwierig. Stellen Sie sich einen Roboter vor, der allein in einem Bürogebäude arbeitet. Er muss wissen: Soll ich jetzt den Aufzug nehmen? Soll ich mich ausruhen, weil der Akku leer ist? Soll ich jemanden begrüßen? Ohne menschliche Hilfe wäre er verloren.

2. Die Lösung: Persönlichkeit als innerer Kompass

Die Forscher sagen: Roboter brauchen keine ständigen Befehle, sondern eine Persönlichkeit.

Stellen Sie sich Persönlichkeit wie den Gen-Code eines Tieres vor. Ein neugieriger Hund wird immer neue Gerüche schnüffeln, während ein ängstlicher Hund lieber im sicheren Körbchen bleibt. Diese "Eigenschaften" sind fest verankert, aber der Hund lernt trotzdem dazu.

PEPA gibt Robotern genau so eine innere Stimme. Diese Persönlichkeit entscheidet nicht nur, wie der Roboter reagiert, sondern auch, welche Ziele er sich selbst setzt.

• Ein "fauler" Roboter denkt: "Ich bin müde, ich lege mich jetzt hin."
• Ein "neugieriger" Roboter denkt: "Ich habe noch viel Energie, ich erkunde den ganzen Flur!"

3. Wie funktioniert das? (Die drei Hirn-Teile)

Das Gehirn von PEPA ist in drei Schichten unterteilt, die wie ein gut organisiertes Team zusammenarbeiten:

• Sys3 (Der Philosoph & Träumer):
  Dieser Teil denkt über die Persönlichkeit nach. Er schaut sich an, was der Roboter heute erlebt hat (z. B. "Ich bin fast gegen eine Wand gefahren"), und überlegt: "Okay, als 'vorsichtiger' Typ sollte ich morgen langsamer fahren." Er setzt sich selbst neue Ziele für den Tag, basierend auf dem, was er gelernt hat.

  • Vergleich: Das ist wie Ihr innerer Monolog am Abend, wenn Sie sagen: "Heute war ich zu ungeduldig, morgen versuche ich es ruhiger."

• Sys2 (Der Planer):
  Dieser Teil nimmt die Ziele von Sys3 und den aktuellen Umgebungs-Check (z. B. "Der Aufzug ist offen") und rechnet aus: "Was ist der beste Weg, um mein Ziel zu erreichen?" Er plant die Schritte.

  • Vergleich: Das ist wie Ihr Navigator im Auto, der die Route plant, basierend auf Ihrem Ziel und dem aktuellen Verkehr.

• Sys1 (Der Körper):
  Das ist der eigentliche Roboter mit Rädern, Beinen und Sensoren. Er führt die Befehle aus, merkt, ob er stolpert, und schreibt alles in ein Tagebuch (Erinnerungsspeicher).

  • Vergleich: Das sind Ihre Hände und Füße, die die Arbeit machen, und Ihr Gedächtnis, das sich an den Weg erinnert.

4. Der echte Test: Der Roboter-Hund im Büro

Die Forscher haben diesen Roboter als vierbeinigen Roboter-Hund in einem echten Bürogebäude getestet. Er musste:

• Mehrere Stockwerke erklimmen (Treppen und Aufzüge nutzen).
• Mit der Infrastruktur interagieren (Aufzugsknöpfe drücken).
• Ohne menschliche Hilfe überleben (Akku managen).

Das Ergebnis war beeindruckend:

• Der neugierige Roboter lief viel herum und erkundete alles.
• Der vorsichtige Roboter ging langsam und blieb lieber in der Nähe des Startpunkts.
• Der faule Roboter suchte sich immer die bequemsten Wege und ruhte sich oft aus.

Wichtig war: Alle Roboter haben aus ihren Fehlern gelernt. Am ersten Tag sind viele fast leer gefahren (Akku leer). Aber durch das "Nachdenken" (Sys3) haben sie am zweiten und dritten Tag ihre Ziele angepasst. Der vorsichtige Roboter hat gelernt, früher umzukehren; der neugierige hat gelernt, nicht zu weit zu gehen.

Fazit

PEPA ist ein großer Schritt weg von "Roboter als Werkzeug" hin zu "Roboter als eigenständiger Partner".

Statt wie ein Roboter zu klingen, der nur "Befehl empfangen, Befehl ausführen" sagt, hat PEPA einen Charakter. Er entwickelt sich weiter, passt sich an und trifft Entscheidungen basierend auf dem, wer er "ist". Das macht ihn fähig, wirklich lange Zeit allein in unserer komplexen, chaotischen Welt zu überleben und zu arbeiten – genau wie ein lebendes Wesen.

Technische Zusammenfassung

Titel

PEPA: Ein persistierend autonomer verkörperter Agent mit Persönlichkeiten

1. Problemstellung und Motivation

Lebende Organismen zeichnen sich durch persistente Autonomie aus: Sie können über längere Zeiträume hinweg selbstgesteuert operieren, indem sie interne Ziele generieren und ihr Verhalten selbstorganisiert anpassen. Aktuelle Embodied Agents (verkörperte Roboter) sind jedoch stark von extern skriptierten Zielen und fest definierten Aufgaben abhängig. Diese Abhängigkeit schränkt ihre Einsatzfähigkeit in dynamischen, unstrukturierten Umgebungen ein, in denen eine kontinuierliche menschliche Intervention unpraktisch oder unmöglich ist (z. B. Pflegebegleiter oder Planetenerkundungs-Rover).

Das zentrale Problem ist die organisatorische Lücke: Wie kann ein Agent ohne externe Aufgabenstellung eigene Ziele generieren, über lange Zeiträume kohärentes Verhalten aufrechterhalten und sich gleichzeitig an neue Erfahrungen anpassen? Bestehende Ansätze (z. B. auf LLMs oder evolutionären Algorithmen basierend) sind oft entweder zu stark extern getrieben oder nicht ausreichend durch physische Überlebens- und Ressourcenbeschränkungen (Energie, Sicherheit) eingeschränkt.

2. Methodik: Die PEPA-Architektur

Die Autoren schlagen PEPA (Persistently Autonomous Embodied Agent with Personalities) vor. Der Kernansatz ist die Nutzung von Persönlichkeitseigenschaften als intrinsisches Organisationsprinzip, ähnlich wie genetische Bias biologische Verhaltensweisen prägen. Die Persönlichkeit bestimmt, was der Agent bewertet, und strukturiert so die Verhaltensorganisation ohne externe Spezifikation.

PEPA basiert auf einer dreischichtigen kognitiven Architektur, die einen geschlossenen Regelkreis bildet:

• Sys3 (Personality & Goal Generation):

  • Funktioniert als Zentrum für Persönlichkeit und Selbstverwirklichung.
  • Nutzt ein Large Language Model (LLM), um Persönlichkeitseigenschaften (basierend auf dem Big-Five-Modell: Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit, Neurotizismus), Selbstmodellierung (Batteriestand, Fähigkeiten) und episodische Erinnerungen zu integrieren.
  • Generiert hierarchische Ziele (ultimative Langzeitziele und tägliche Teilziele) sowie eine intrinsische Belohnungsfunktion ($R_{intrinsic}$).
  • Führt tägliche Reflexionszyklen durch, um Ziele und Belohnungen basierend auf gesammelten Erfahrungen zu aktualisieren.

• Sys2 (Decision & Reasoning):

  • Ist das kognitive Planungs- und Entscheidungszentrum.
  • Kombiniert die intrinsische Belohnung von Sys3 mit externen Umgebungsfeedbacks ($R_{extrinsic}$), um Aktionen zu wählen, die den erwarteten Gesamtnutzen maximieren.
  • Verwendet während des Trainings ein LLM-basiertes Monte-Carlo-Baum-Suche (MCTS)-Verfahren zur Generierung hochwertiger Trainingsdaten. Für den Echtzeit-Einsatz wird ein leichtgewichtiges, destilliertes BERT-Modell verwendet, um Latenzzeiten zu minimieren.

• Sys1 (Perception, Execution & Memory Recording):

  • Die Schnittstelle zur physischen Welt (Embodiment).
  • Verarbeitet multimodale Sensordaten (LiDAR, RGB-D-Kameras, Propriozeption) und führt Aktionen aus (Fortbewegung, Manipulation, Ausdruck).
  • Schlüsselfunktion: Erfasst Interaktionsergebnisse als strukturierte episodische Erinnerungen (Zustände vor/nach der Aktion, Erfolg/Misserfolg, Ressourcenverbrauch). Diese Erinnerungen werden an Sys3 zurückgespeist, um den Lern- und Reflexionszyklus zu schließen.

Formale Grundlage:
Das Entscheidungsproblem wird als POMDP (Partially Observable Markov Decision Process) mit einer zusammengesetzten Belohnungsfunktion ($R_{total} = R_{intrinsic} + R_{extrinsic}$) formuliert. Das System zielt auf Open-Ended Evolution (OEE) ab, definiert als die Fähigkeit, eine unendliche Sequenz nicht-wiederholender Ziele und Trajektorien zu generieren.

3. Experimentelle Validierung und Ergebnisse

Die Autoren validierten das Framework auf einem quadrupeden Roboter (Unitree Go2-W) mit einem 6-DOF-Roboterarm in einem realen Bürogebäude mit mehreren Etagen.

Herausforderungen im Realbetrieb:

• Multi-Etagen-Navigation: Der Roboter musste Aufzüge nutzen und Treppen steigen.
• Infrastruktur-Interaktion: Drücken von Aufzugsknöpfen und Navigation in komplexen Umgebungen.
• Selbsterhaltung: Management des Energieverbrauchs (Batterie) zur Vermeidung von Ausfällen.

Wichtige technische Ergebnisse:

1. Treppen- und Aufzugsnavigation: Es wurde ein höhenangepasster Costmap-Ansatz (Height-Aligned Costmap) entwickelt, der im Gegensatz zu herkömmlichen Methoden mit festen Höhenabschnitten funktioniert. Dies ermöglichte eine 100%ige Erfolgsrate beim Auf- und Abstieg von Treppen (im Vergleich zu 0% bei der Baseline).
2. Persönlichkeitsgetriebenes Verhalten: Fünf verschiedene Persönlichkeitsprototypen (z. B. „Lazy", „Playful", „Cautious", „Working", „Curious") wurden getestet.
   • Ergebnis: Die Agenten entwickelten stabile, charakteristische Verhaltensmuster. Ein „Neugieriger" Agent maximierte die räumliche Abdeckung, während ein „Vorsichtiger" Agent effiziente, wiederholte Muster zeigte.
   • Tabelle III: Selbst bei identischen Eingaben (Zustand + Befehl) wählten unterschiedliche Persönlichkeiten signifikant verschiedene Aktionen (z. B. Ruhe vs. Exploration).
3. Selbstentwicklung durch Reflexion:
   • Über einen Zeitraum von drei Tagen verbesserten sich alle Persönlichkeiten durch den memory-driven reflection mechanism.
   • Überlebenszeit: Am Tag 1 scheiterten alle Agenten durch Batterieerschöpfung. Durch die tägliche Anpassung der Ziele und intrinsischen Belohnungen (z. B. strengere Batteriegrenzen für Exploration) erreichten alle Persönlichkeiten am Tag 3 eine 24-stündige Simulation mit 72–100% verbleibender Batterie.
   • Dies beweist, dass die Persönlichkeit nicht statisch ist, sondern durch Erfahrung optimiert wird, um Ziele und Sicherheit zu balancieren.

4. Hauptbeiträge

1. Erste Implementierung: PEPA ist der erste Ansatz, der einen persistierend autonomen, verkörperten Agenten mit Persönlichkeiten realisiert, der unter realen physikalischen Constraints selbstentwickelnd agiert.
2. Neue Architektur: Entwicklung einer dreischichtigen kognitiven Architektur mit einem geschlossenen Selbstentwicklungsmechanismus, bei dem Episodenmemorie, Persönlichkeits-Reflexion und Ziel-Update eng gekoppelt sind.
3. Real-World Validierung: Erfolgreicher Einsatz auf einem mobilen Manipulations-Roboter in einer komplexen, mehrstöckigen Umgebung, inklusive öffnung von Code und Demo-Videos für die Reproduzierbarkeit.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass Persönlichkeit als intrinsisches Organisationsprinzip fungieren kann, um echte persistente Autonomie in Robotern zu erreichen. Anstatt starre Aufgaben zu befolgen, können Roboter durch Persönlichkeits-Traits eigene Ziele generieren, Risiken bewerten und ihr Verhalten über lange Zeiträume kohärent, aber anpassungsfähig gestalten.

Dies ist ein entscheidender Schritt hin zu Robotern, die in unvorhersehbaren Umgebungen (wie Pflegeheimen oder im Weltraum) ohne ständige menschliche Aufsicht operieren können. Die Kombination aus kognitiver Architektur, LLM-basierter Planung und physischer Selbstwahrnehmung legt den Grundstein für langlebige, sich selbst entwickelnde robotische Systeme.