🤖 machine learning

Automating Potential-based Reward Shaping with Vision Language Model Guidance

Dieses Paper stellt VLM-PBRS vor, ein Framework, das Präferenz-Feedback von leichtgewichtigen Vision-Language-Modellen nutzt, um automatisch Potenzialfunktionen für das Reward Shaping zu erlernen, wodurch das Reinforcement Learning in Umgebungen mit spärlichen Belohnungen beschleunigt wird, während gleichzeitig optimale Policys bewahrt und Reward Hacking verhindert wird.

Ursprüngliche Autoren: Henrik Müller, Daniel Kudenko

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Henrik Müller, Daniel Kudenko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter eine komplexe Aufgabe bei, wie zum Beispiel das Öffnen einer Schublade oder das Einschalten eines Herdes. In der Welt der Robotik und KI wird dies als Reinforcement Learning (Bestärkendes Lernen) bezeichnet.

Das Problem: Der „stille Lehrer“

Normalerweise bringen Sie einem Roboter etwas bei, indem Sie ihm eine Belohnung geben, wenn er die Aufgabe perfekt abgeschlossen hat. Das ist wie ein Lehrer, der während der gesamten Zeit, in der ein Schüler eine Matheaufgabe löst, schweigt und erst am Ende „Gut gemacht!“ sagt, wenn das Ergebnis richtig ist.

Das Problem: Wenn der Roboter eine Million verschiedene Dinge ausprobiert und nur durch pures Glück einmal ein „Gut gemacht!“ erhält, weiß er nicht, welcher dieser Millionen Versuche hilfreich war. Es ist, als würde man versuchen, im Dunkeln eine Nadel im Heuhaufen zu finden. Dies wird als Sparse Reward (spärliche Belohnung) bezeichnet, und es macht das Lernen unglaublich langsam.

Die alte Lösung: Der „übereifrige Coach“

Um dies zu beheben, versuchen Menschen oft, dem Roboter entlang des Weges kleine Belohnungen zu geben (wie „Gut, du bewegst deine Hand näher zum Griff!“ oder „Schön, du hast den Griff gepackt!“). Dies nennt man Reward Shaping (Belohnungsgestaltung).

Das Risiko: Wenn der Coach zu enthusiastisch ist oder die falschen Hinweise gibt, kann der Roboter abgelenkt werden. Er könnte lernen, seine Hand in der Nähe des Griffs hin und her zu bewegen, nur um das „Gut gemacht!“-Geräusch zu bekommen, ohne die Schublade tatsächlich zu öffnen. Dies nennt man Reward Hacking. Der Roboter löst die Hinweise, nicht die Aufgabe.

Die neue Lösung: Der „schlaue, günstige Führer“

Dieses Paper stellt eine neue Methode namens VLM-PBRS vor. Es verwendet eine spezielle Art von KI, ein Vision-Language Model (VLM). Stellen Sie sich ein VLM wie einen Roboter vor, der sowohl Bilder sehen als auch Anweisungen lesen kann.

So funktioniert die Methode der Autoren unter Verwendung einer einfachen Analogie:

1. Das „Zwei-Fotos-Spiel“

Anstatt das VLM zu bitten, einen komplexen Satz von Regeln zu schreiben (was schwierig und teuer ist), spielt das System ein einfaches Spiel:

Es zeigt dem VLM zwei Bilder des Roboters zu verschiedenen Zeitpunkten.
Es fragt: „Das Ziel ist es, die Schublade zu öffnen. In welchem Bild ist der Roboter näher am Sieg?“
Das VLM antwortet: „Bild A“ oder „Bild B“.

2. Die „Sichere Karte“ (Potential-Based Reward Shaping)

Das ist der clevere Teil. Die Autoren lassen die Antwort des VLM nicht zur einzigen Belohnung werden. Stattdessen nutzen sie die Antwort des VLM, um eine mentale Karte (eine sogenannte „Potentialfunktion“) aufzubauen.

Die Analogie: Stellen Sie sich vor, das VLM ist ein Wanderer, der Ihnen einen Kompass gibt. Der Kompass zeigt allgemein in Richtung des Ziels.
Das Sicherheitsnetz: Das Paper verwendet eine mathematische Garantie (Potential-Based Reward Shaping), die besagt: „Selbst wenn der Kompass leicht falsch liegt, wird er Sie niemals dazu verleiten, von einer Klippe zu laufen oder ewig in die falsche Richtung zu wandern. Er wird Sie nur schneller oder langsamer machen lassen.“
Aufgrund dieses Sicherheitsnetzes kann der Roboter ein günstigeres, kleineres und schnelleres VLM verwenden. Er benötigt keine superintelligente, teure KI, die perfekt sein muss; es muss nur eine sein, die „gut genug“ ist, um den Weg zu weisen.

3. Das Ergebnis

Der Roboter lernt viel schneller, weil er ständige Hinweise vom „Kompass“ des VLM erhält, aber es ist mathematisch garantiert, dass er immer noch den richtigen Weg zur Lösung der Aufgabe lernt, selbst wenn das VLM einige Fehler macht.

Was die Autoren tatsächlich herausgefunden haben

Die Forscher haben dies in zwei virtuellen Welten getestet:

Meta-World: Eine Sammlung einfacher Roboteraufgaben (wie das Drücken eines Knopfes oder das Öffnen einer Tür).
Franka Kitchen: Eine komplexere, unordentliche Küchenumgebung mit vielen ablenkenden Objekten.

Ihre Kernergebnisse:

Geschwindigkeit: Der Roboter lernte unter Verwendung ihrer Methode signifikant schneller als durch das Warten auf den „stillen Lehrer“ (sparse rewards).
Sicherheit: Selbst wenn das VLM nicht perfekt war (manchmal eine falsche Vermutung anstellte), wurde der Roboter nicht „gehackt“ oder verwirrt. Er lernte immer noch die richtige Aufgabe, nur etwas langsamer.
Kosten: Sie haben bewiesen, dass man nicht die teuersten, riesigen KI-Modelle braucht. Kleinere, günstigere Modelle funktionieren gut genug, da das „Sicherheitsnetz“ den Lernprozess schützt.
Vergleich: In einigen Aufgaben funktionierte ihre Methode sogar besser als die manuell von Menschen entworfene Belohnungsgestaltung. In anderen war sie vergleichbar mit menschlich entworfenen Hinweisen, erforderte jedoch null menschlichen Aufwand für die Erstellung.

Zusammenfassung

Das Paper präsentiert einen Weg, Roboter schneller zu lehren, indem ein „günstiges“ KI-Modell einfache „dies ist besser als das“-Hinweise gibt. Da es eine spezielle mathematische Sicherheitsregel gibt, beschleunigen diese Hinweise das Lernen, ohne den Roboter dazu zu verleiten, das Falsche zu tun. Es ist, als würde man einem Schüler eine leicht fehlerhafte Karte statt eines leeren Blattes Papier geben – er wird das Ziel trotzdem erreichen, nur viel früher.

Technisches Resümee: Automatisierung von potenzialbasierter Belohnungsgestaltung mit Unterstützung durch Vision-Language-Modelle

Problemstellung

Reinforcement-Learning-Agenten (RL) stehen in Umgebungen mit spärlichen Belohnungen (sparse rewards) vor erheblichen Herausforderungen, da Feedback erst bei Abschluss einer Aufgabe gegeben wird. Dieser Mangel an zwischenzeitlicher Orientierung behindert die Exploration und erschwert es, den Erfolg bestimmten Teilen eines Trajektorienverlaufs zuzuschreiben. Während Belohnungsgestaltung (Reward Shaping – das Hinzufügen von Hilfssignalen zur Steuerung der Exploration) eine gängige Lösung darstellt, führt willkürliche Gestaltung oft zu Reward Hacking, bei dem Agenten die Hilfssignale ausnutzen, um die Belohnung zu maximieren, ohne die eigentliche Aufgabe zu lösen.

Potenzialbasierte Belohnungsgestaltung (Potential-Based Reward Shaping, PBRS) bietet eine theoretisch fundierte Alternative, indem sie die Differenz einer Potenzialfunktion $\Phi(s)$ zwischen aufeinanderfolgenden Zuständen zur Belohnung addiert. PBRS garantiert die Erhaltung der optimalen Policy-Menge der ursprünglichen Aufgabe. Die Definition einer effektiven Potenzialfunktion erfordert jedoch typischerweise umfangreiches Expertenwissen und manuelles Engineering, was die Skalierbarkeit einschränkt.

Neuere Ansätze, die Vision-Language-Modelle (VLMs) nutzen, um Belohnungsfunktionen direkt zu lernen (z. B. RL-VLM-F), reduzieren zwar den Bedarf an manuellem Design, hängen aber von der Fähigkeit des VLM ab, die wahre Belohnungsfunktion perfekt zu approximieren. Dies stellt eine strikte Anforderung an die Genauigkeit der Labels dar; Fehler in der VLM-Ausgabe können zu suboptimalen Policies führen. Darüber hinaus ist das wiederholte Abfragen großer, hochmoderner VLMs während des Trainings rechentechnisch prohibitiv.

Methodik: VLM-PBRS

Die Autoren schlagen VLM-PBRS vor, ein Framework, das die Konstruktion einer Potenzialfunktion für PBRS unter Verwendung von durch VLMs generierten Präferenz-Labels automatisiert. Die zentrale Innovation liegt in der Nutzung der Policy-Invarianz-Eigenschaft von PBRS, um die Genauigkeitsanforderungen an das VLM zu lockern, was die Verwendung kleinerer, effizienterer Modelle ermöglicht.

Kernkomponenten

Präferenzbasiertes Lernloop:
- Das System operiert in einem iterativen Loop bestehend aus Policy-Verbesserung, Datensammlung und VLM-Abfrage.
- Datensammlung: Der Agent interagiert mit der Umgebung, sammelt Trajektorien und Bildbeobachtungen.
- VLM-Abfrage: Paare von Bildern ( $\sigma_i, \sigma_j$ ) werden aus dem Buffer gesampelt. Ein Prompt wird erstellt, der das Bildpaar und eine natürliche Sprachbeschreibung des Ziels enthält. Das VLM wird abgefragt, um zu bestimmen, welches Bild das Ziel besser erreicht.
- Prompt-Struktur: Der Prompt fordert das VLM auf, gemeinsame Elemente zu identifizieren, Unterschiede in Bezug auf das Ziel zu beschreiben und ein maschinenlesbares Label ( $y \in \{-1, 0, 1\}$ ) auszugeben, das die Präferenz angibt.
- Label-Extraktion: Im Gegensatz zu früheren Arbeiten (z. B. RL-VLM-F), die einen zweiten LLM-Aufruf zur Extraktion von Labels aus ausführlichen VLM-Ausgaben nutzen, extrahiert VLM-PBRS das Label direkt aus einem einzigen VLM-Aufruf, um die Recheneffizienz zu steigern.
Konstruktion der Potenzialfunktion:
- Ein Präferenzmodell $r_\psi$ wird auf den gesammelten VLM-Labels unter Verwendung einer Verlustfunktion (Cross-Entropy oder Mean Absolute Error) trainiert.
- Das trainierte Modell wird in eine Potenzialfunktion $\Phi(s)$ transformiert:
  $\Phi(s) = \begin{cases} 0 & \text{wenn } s \text{ terminal ist} \\ \lambda \sigma(r_\psi(s)) & \text{andernfalls} \end{cases}$
  wobei $\sigma$ eine Sigmoid-Aktivierung und $\lambda$ ein Skalierungsfaktor (gesetzt auf 0,9) ist, um sicherzustellen, dass die gestaltete Belohnung positiv bleibt und unter der Zielbelohnung liegt.
Belohnungsgestaltung (Reward Shaping):
- Die gestaltete Belohnung $R'$ wird berechnet als $R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$ .
- Diese gestaltete Belohnung leitet den RL-Agenten (unter Verwendung von SAC) während der Exploration. Der Replay-Buffer wird mit aktualisierten Gestaltungsbelohnungen neu berechnet, sobald sich die Potenzialfunktion verbessert.

Wichtige Designentscheidungen

Kleine VLMs: Das Framework nutzt kleinere, Open-Weight-VLMs (z. B. Ovis2-16B, Qwen3-VL-8B), die recheneffizient sind. Die Autoren argumentieren, dass diese Modelle zwar weniger genaue Labels als größere Modelle erzeugen mögen, das PBRS-Framework jedoch robust gegenüber solchem Rauschen ist.
Ein-Schritt-Labeling: Durch das Vermeiden eines zweiten LLM-Aufrufs zur Generierung von Labels reduziert die Methode den Rechenaufwand erheblich.

Zentrale Beiträge

Erste Anwendung von VLM-Präferenzlernen für PBRS: Die Arbeit führt das erste Framework ein, das eine Potenzialfunktion für PBRS direkt aus VLM-Präferenz-Labels synthetisiert, wobei lediglich eine textuelle Zielbeschreibung und visuelle Beobachtungen erforderlich sind.
Prinzipiengetreue Nutzung kleiner VLMs: Die Autoren etablieren, dass die durch PBRS garantierte Policy-Invarianz die strengen Anforderungen an die Label-Genauigkeit direkter Belohnungsmodellierung lockert. Dies ermöglicht den Einsatz kleinerer, recheneffizienterer VLMs, ohne die Optimalität der gelernten Policy zu gefährden, selbst wenn die Labels verrauscht sind.
Empirische Validierung: Die Methode wird in Meta-World und Franka Kitchen Umgebungen validiert und zeigt eine verbesserte Stichproben-Effizienz (Sample Efficiency) und Robustheit gegenüber Reward Hacking im Vergleich zu spärlichen Belohnungen und naivem VLM-Belohnungslernen.

Ergebnisse

Die Autoren evaluierten VLM-PBRS gegen vier Baselines: Sparse Rewards, Human-Designed Dense Rewards und RL-VLM-F (direktes Belohnungslernen).

Stichproben-Effizienz (Sample Efficiency): VLM-PBRS beschleunigte das Lernen konsistent im Vergleich zur Sparse-Reward-Baseline über alle getesteten Aufgaben hinweg (z. B. Button-Press, Window-Open, Microwave, Light-Switch).
Vergleich zu RL-VLM-F: Während RL-VLM-F in einigen Aufgaben die Sparse-Rewards übertraf, konvergierte es in anderen (z. B. Button-Press, Top-Burner) oft zu suboptimalen Policies, da Fehler bei der VLM-Labeling falsche Anreize schufen. Im Gegensatz dazu bewahrte VLM-PBRS die Konvergenz zu optimalen Policies selbst mit verrauschten Labels, da die PBRS-Eigenschaft verhindert, dass der Agent dauerhaft in die Irre geführt wird.
Leistung vs. Human Design: In der Button-Press-Aufgabe übertraf VLM-PBRS mit einer VLM-Genauigkeit von ~59 % die durch Menschen entworfene dichte Belohnung (Human-Designed Dense Reward), welche unter Reward Hacking litt.
Sensitivität der Label-Genauigkeit:
- Experimente mit einem Oracle-Labeler zeigten, dass die Verbesserungen der Stichproben-Effizienz mit der Label-Genauigkeit korrelieren.
- Selbst bei Genauigkeitswerten unter dem Zufallsniveau (0,0) verschlechterte VLM-PBRS die Leistung nicht unter die Sparse-Reward-Baseline, da es sich auf die zugrunde liegende RL-Exploration verließ.
- In Aufgaben, in denen die VLM-Genauigkeit nahe am Zufallsniveau lag (z. B. Drawer-Open), zeigte VLM-PBRS leichte Verbesserungen gegenüber Sparse Rewards, konnte aber die menschlich gestalteten dichten Belohnungen nicht erreichen.
Ablationsstudien:
- Batch-Größe: Es wurde festgestellt, dass die Verwendung von 20 Labels pro VLM-Abfrage-Batch ausreichend ist, um Leistung und Rechenkosten auszubalancieren.
- Verlustfunktion: Cross-Entropy und Mean Absolute Error (MAE) zeigten eine ähnliche Leistung; Cross-Entropy wurde als Standard ausgewählt.

Bedeutung und Ansprüche

Das Paper behauptet, dass VLM-PBRS einen praktischen, skalierbaren Weg zur Automatisierung der Belohnungsgestaltung in ressourcenbeschränkten Umgebungen bietet. Durch die Entkopplung der Notwendigkeit perfekter VLM-Argumentation von der Garantie der Policy-Optimalität ermöglicht die Methode den Einsatz kleinerer, kostengünstigerer VLMs.

Die Autoren betonen, dass ihr Ansatz:

Optimalität bewahrt: Im Gegensatz zum direkten Belohnungslernen riskiert es nicht, aufgrund von VLM-Fehlern suboptimale Policies zu lernen.
Den Engineering-Aufwand reduziert: Es eliminiert die Notwendigkeit für Experten-entworfenen Potenzialfunktionen oder dichten Belohnungstermen und benötigt lediglich eine High-Level-Textbeschreibung.
Robustheit verbessert: Es ist inhärent resistent gegen Reward Hacking, ein häufiger Ausfallmodus bei willkürlicher Belohnungsgestaltung.

Die Arbeit legt nahe, dass mit der Verbesserung multimodaler Fundament-Modelle die Allgemeingültigkeit und der Nutzen von VLM-PBRS natürlich zunehmen werden, was eine lebensfähige Alternative zum handgefertigten Reward-Engineering für komplexe Roboteraufgaben darstellt.