🤖 machine learning

Do It for HER: First-Order Temporal Logic Reward Specification in Reinforcement Learning (Extended Version)

Oorspronkelijke auteurs: Pierriccardo Olivieri, Fausto Lasca, Alessandro Gianola, Matteo Papini

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Pierriccardo Olivieri, Fausto Lasca, Alessandro Gianola, Matteo Papini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een auto moet besturen of een doos in een magazijn moet verplaatsen. In de wereld van Kunstmatige Intelligentie wordt dit Reinforcement Learning genoemd. De robot leert door dingen te proberen en krijgt "beloningen" (zoals een digitale high-five) wanneer hij iets goed doet, en "geen beloningen" wanneer hij iets fout doet.

Het grote probleem is het vertellen van wat "goed" eigenlijk betekent.

De Oude Manier: De "Labeling" Bottleneck

Traditioneel, om een robot een complexe taak te leren, moeten mensen zeer specifieke, rigide regels schrijven.

De Analogie: Stel je voor dat je een kind leert om een taart te bakken. Bij de oude methode kun je niet simpelweg zeggen: "Maak een taart." Je moet het kind een checklist geven met 50 specifieke ingrediënten en zeggen: "Als de bloem precies 200 gram is, vink vakje A aan. Als de suiker 100 gram is, vink vakje B aan."
Het Probleem: Als je wilt dat de robot een rode doos oppakt in plaats van een blauwe, of naar een andere plek beweegt, moet je vaak de hele checklist herschrijven of een nieuwe "vertaler" (een zogenaamde labeling function) bouwen om de nieuwe regels uit te leggen. Het is tijdrovend, foutgevoelig en moeilijk herbruikbaar.

De Nieuwe Manier: "Do It for HER" (De oplossing van het paper)

Dit paper stelt een nieuw framework voor genaamd LTLfMT. Laten we dat afbreken met behulp van een eenvoudige metafoor.

1. De Universele Vertaler (SMT Solvers)
In plaats van de mens te dwingen voor elke regel een aangepaste vertaler te bouwen, gebruikt dit framework een "Universele Vertaler" (een wiskundig hulpmiddel genaamd een SMT solver).

De Analogie: In plaats van voor elke taal die je spreekt een nieuw woordenboek te schrijven, spreek je gewoon natuurlijk tegen een superintelligente tolk. Je kunt zeggen: "Pak de doos die minder dan 10 kg weegt en de ID 'H123' heeft." De tolk begrijpt de wiskunde en de logica direct, zonder dat jij code hoeft te schrijven om het gewicht te controleren of de ID te controleren.
Het Voordeel: Je kunt complexe taken beschrijven met natuurlijke logica (zoals "Doe eerst A, dan B, maar ga nooit in de buurt van de rode zone") zonder handmatig de details te coderen over hoe je afstand meet of ID's controleert.

2. De "Tijdreis" Logica
Het framework gebruikt een speciale soort logica die tijd begrijpt.

De Analogie: Het is alsof je de robot een script geeft voor een toneelstuk. Het script zegt niet alleen "Sta hier." Het zegt: "Loop eerst naar de deur. Wacht daarna op de bel. Daarna open je de deur." De robot begrijpt de volgorde van gebeurtenissen, niet alleen een enkel momentopname.

Het "Sparsity" Probleem: De Stille Kamer

Er is een addertje onder het gras. Omdat deze logische regels zo precies zijn, gaat de robot vaak een lange tijd zonder een "high-five" te krijgen.

De Analogie: Stel je voor dat je een videogame speelt waarbij je pas een punt krijgt als je het allerlaatste level bereikt. Als je 100 keer doodgaat terwijl je er naartoe probeert te komen, krijg je nul feedback. Je weet niet waarom je faalde, dus je weet niet hoe je moet verbeteren. Dit wordt Reward Sparsity genoemd.

De Oplossing: "Hindsight" en "What-Ifs"

Om de stilte te doorbreken, combineren de auteurs twee slimme trucs:

A. Hindsight Experience Replay (HER)

De Analogie: Stel je voor dat de robot er niet in slaagt om de "Rode Doos" te bereiken. In plaats van alleen "Fout" te zeggen, kijkt de robot terug en zegt: "Nou, ik heb wel de 'Blauwe Doos' bereikt waar ik per ongeluk naartoe bewoog. Laten we doen alsof dat de doos was die ik de hele tijd wilde hebben."
Hoe het helpt: De robot leert van zijn fouten door ze te herinterpreteren als successen voor andere doelen. Het verandert een fout in een leermoment.

B. Counterfactual Experiences (CRM)

De Analogie: Dit is als een "Wat als"-simulator. De robot denkt: "Ik was bij de deur, maar wat als ik naar links had afgebogen in plaats van naar rechts? Dan had ik een beloning gekregen." Het creëert denkbeeldige scenario's om op te oefenen.

De "Do It for HER" Combinatie:
De belangrijkste innovatie van het paper is het combineren van deze twee. Ze nemen de "Wat als"-scenario's (CRM) en passen de "Hindsight"-truc (HER) daarop toe.

Het Resultaat: De robot krijgt een enorme hoeveelheid oefendata. Het leert niet alleen van wat het daadwerkelijk deed, maar ook van wat het had kunnen doen, en het leert die "wat-als-scenario's" te behandelen als geldige doelen.

Wat ze hebben getest

Ze hebben dit getest op een virtuele parkeeropdracht voor een auto.

De Uitdaging: De auto moest naar specifieke plekken navigeren, obstakels vermijden en een reeks stappen volgen.
De Uitkomst:
- De oude methoden (en de robot die op eigen kracht probeerde) faalden grotendeels of leerden zeer traag.
- De nieuwe methode (het combineren van de logische regels met de "Hindsight" en "Wat als"-trucs) leerde veel sneller en kon complexe parkeertaken oplossen die de anderen helemaal niet begrepen.

Samenvatting

Dit paper geeft robots een betere manier om instructies te begrijpen. In plaats van dat mensen complexe code schrijven om regels te vertalen, gebruikt de robot een universeel wiskundig hulpmiddel om logische zinnen te begrijpen zoals "Ga naar X, dan Y." Om ervoor te zorgen dat de robot snel leert ondanks het feit dat hij weinig beloningen krijgt, leren de auteurs de robot om van zijn fouten te leren door te doen alsof die fouten eigenlijk successen waren voor andere doelen. Het is alsof je de robot een tijdmachine geeft om verschillende versies van de werkelijkheid te oefenen, zodat hij de echte versie onder de knie krijgt.

Technische Samenvatting: Do It for HER: First-Order Temporal Logic Reward Specification in Reinforcement Learning

Probleemstelling

Reinforcement Learning (RL) vertrouwt op beloningssignalen om het gedrag van een agent te sturen, maar het ontwerpen van beloningen (reward engineering) blijft een heuristisch en arbeidsintensief proces. Een aanzienlijke uitdaging ontstaat wanneer taken inherent niet-Markoviaans zijn, wat geschiedenisafhankelijke beloningen vereist die standaard Markoviaanse beloningsfuncties niet effectief kunnen vatten. Hoewel Linear Temporal Logic met eindige sporen (LTLf) succesvol is ingezet voor het specificeren van dergelijke taken, is dit beperkt tot Booleaanse predicaten. Deze beperking noodzaakt handmatige "labelingsfuncties" om continue of heterogene toestandsruimten (bijv. real-waardige coördinaten, object-ID's, gewichten) naar discrete propositionele symbolen te mappen. In complexe real-world scenario's zoals robotica of business process management is deze handmatige codering broos, niet herbruikbaar en slaagt het er niet in de rijke structuur van continue data te benutten. Bovendien leiden logica-gebaseerde specificaties vaak tot ijle (sparse) beloningen, wat leren bemoeilijkt zonder aanvullende mechanismen zoals reward shaping of hindsight experience replay.

Methodologie

De auteurs stellen een framework voor dat gebruikmaakt van Linear Temporal Logic Modulo Theories over finite traces (LTLfMT) om de expressiviteitsbeperkingen van LTLf te overwinnen.

1. Theoretisch Framework: LTLfMT

In plaats van Booleaanse atomen gebruikt LTLfMT eerste-orde formules die worden geïnterpreteerd over willekeurige theorieën (bijv. Non-Linear Real Arithmetic, relationele databases).

Syntaxis: Het framework definieert een grammatica waarbij atomaire proposities worden vervangen door eerste-orde termen en predicaten ( $\alpha$ ) die variabelen, constanten en functies bevatten. Deze worden gecombineerd via eerste-orde logica ( $\lambda$ ) en vervolgens ingepakt in temporele operatoren ( $\phi$ ) vergelijkbaar met standaard LTLf.
Tractabel Fragment: In het besef dat volledige LTLfMT onbeslisbaar is, identificeren de auteurs een specifiek fragment dat geschikt is voor RL. Ze verwijderen de "lookahead" operatoren ( $\bigcirc, \sim\bigcirc$ ) uit de termlaag, met het argument dat temporele restricties op datacollectie niet nodig zijn voor de specificatie van de beloning. Dit laat de beslisbaarheid afhankelijk van de onderliggende theorie alleen.
Translatie naar Automata: Om standaard RL mogelijk te maken, stellen de auteurs een propositionaliseringsstrategie voor. Een formule $\phi$ in het LTLfMT-fragment wordt vertaald naar een standaard LTLf-formule $\phi'$ door eerste-orde subformules te vervangen door onderscheidende propositionele letters. Een Satisfiability Modulo Theories (SMT) solver fungeert als een universele labelingsfunctie, die deze subformules bij elk tijdstap evalueert om de waarheidswaarden van de propositionele letters te bepalen.
Product MDP: De gepropositionaliseerde formule wordt omgezet in een Deterministic Finite Automaton (DFA). Deze DFA wordt gecombineerd met de oorspronkelijke omgeving om een Product MDP te vormen. Deze Product MDP combineert de staat van de omgeving met de staat van de automaat, waardoor de niet-Markoviaanse beloningsproblematiek wordt getransformeerd naar een Markoviaans probleem dat oplosbaar is met standaard RL-algoritmen.

2. Aanpak van Beloningsijlheid: CRM-HER

Om de ijlheid aan te pakken die inherent is aan logica-gebaseerde doelen, combineert het paper twee technieken binnen het Product MDP-framework:

Counterfactual Experiences for Reward Machines (CRM): Deze techniek genereert kunstmatige transities door de huidige DFA-toestand te vervangen door andere bereikbare toestanden in de automaat, wat effectief "wat-als"-scenario's creëert om het beloningssignaal te verdichten.
Hindsight Experience Replay (HER): HER verbetert de steekproefefficiëntie door mislukte trajecten te herlabelen met doelen die tijdens die episodes daadwerkelijk zijn bereikt.
Integratie: De auteurs passen HER aan de Product MDP aan door de "doelstelling" te definiële als een specifieke toestand in de productruimte (een toestand die een transitie naar een accepterende toestand triggert). Ze stellen een gecombineerde aanpak voor (CRM-HER) waarbij HER wordt toegepast op zowel de echte trajecten als de contrafeitelijke trajecten gegenereerd door CRM. Dit maakt gebruik van de gestructureerde aard van eerste-orde doelen om automatisch doelspecificaties te genereren zonder handmatige interventie.

Belangrijkste Bijdragen

LTLfMT voor Beloningsspecificatie: Het paper introduceert een framework dat LTLf uitbreidt naar LTLfMT, waardoor beloningsspecificaties direct geschreven kunnen worden over continue en heterogene datadomeinen met behulp van eerste-orde theorieën, wat de noodzaak voor handmatige labelingsfuncties elimineert.
Identificatie van een Tractabel Fragment: De auteurs definiëren een specifiek fragment van LTLfMT dat vrij is van beslisbaarheidsproblemen (ervan uitgaande dat de onderliggende theorie beslisbaar is) en dat efficiënte translatie naar automata via SMT-solvers mogelijk maakt.
Verenigde CRM-HER Aanpak: Het paper presenteert een nieuwe methode voor het combineren van Counterfactual Experiences en Hindsight Experience Replay binnen de context van logica-gespecificeerde beloningen, specifiek afgestemd op de daaruit afgeleide Product MDP-structuur van LTLfMT.
Empirische Validatie: Het framework wordt geëvalueerd in continue controleomgevingen (Parking en Reacher) met behruik van Non-Linear Real Arithmetic (NRA). De experimenten tonen aan dat de voorgestelde aanpak, met name de CRM-HER combinatie, beter presteert dan de baselines (standaard DDPG, CRM-only, en HER-only) in taken met complexe, ijle doelen.

Resultaten

Experimenten werden uitgevoerd met Deep Deterministic Policy Gradients (DDPG) op een gemodificeerde Parking-omgeving en een Reacher-omgeving.

Baseline Prestaties: Standaard DDPG toegepast op de Product MDP had grote moeite, en faalde vaak in het leren van een succesvol beleid in complexe taken (bijv. parking_1, parking_2) vanwege de ijle beloningen.
CRM vs. HER: CRM alleen verbeterde de prestaties in taken waar de automaatstructuur de primaire bottleneck was, maar bood beperkte voordelen wanneer het doel zelf moeilijk te ontdekken was. HER alleen presteerde goed in scenario's van doelontdekking, maar maakte geen volledig gebruik van de automaatstructuur.
CRM-HER Superioriteit: De gecombineerde CRM-HER aanpak behaalde consistent de beste of bijna-beste prestaties over alle taken heen. Opvallend genoeg was CRM-HER in de meest complexe taken (parking_2) de enige methode die in staat was om een succesvol beleid te leren. De resultaten suggereren dat de synergie tussen contrafeitelijk redeneren (het exploiteren van de automaatstructuur) en hindsight experience (het exploiteren van doelgeneralisatie) fundamenteel is voor het oplossen van complexe, ijle belonings-taken in continue domeinen.

Betekenis en Claims

Het paper claimt dat LTLfMT een expressiever en herbruikbaarder alternatief biedt voor LTLf voor beloningsspecificatie, met name in domeinen met continue of heterogene data. Door de complexiteit van het coderen te verschuiven van handmatige labelingsfuncties naar kant-en-klare SMT-solvers, vermindert het framework de menselijke interventie en verhoogt het de snelheid van het definiëren van nieuwe taken.

De auteurs benadrukken dat hun aanpak de toepassing van HER in logica-gebaseerde RL op natuurlijke wijze faciliteert. Omdat de beloningsspecificatie gebaseerd is op eerste-orde formules, kunnen de variabelen die in de formule worden gebruikt direct dienen als basis voor doeldefinities in HER, waardoor de noodzaak voor ad-hoc doelengineering wordt vermeden. Het paper concludeert dat deze integratie van symbolische logica, SMT-solving en moderne RL-technieken (CRM en HER) een robuust pad biedt voor het specificeren en leren van complexe, niet-Markoviaanse gedragingen in continue controle-instellingen, wat de weg vrijmaakt voor toekomstig werk in veiligheidsrestricties en multi-task learning.