Technische Samenvatting: RoDiF – Robuuste Directe Fine-Tuning van Diffusiebeleid met Corrupte Menselijke Feedback

1. Probleemstelling

Diffusiebeleid (diffusion policies) is een krachtig paradigma geworden voor robotbesturing, dat superieure capaciteiten biedt in het vastleggen van multi-modale distributies en het afhandelen van hoogdimensionale actieruimtes vergeleken met traditionele Gaussische of deterministische beleidsregels. Het fijn afstellen (fine-tuning) van deze voorgetrainde beleidsregels om te voldoen aan specifieke menselijke voorkeuren brengt echter twee fundamentele uitdagingen met zich mee:

1. Structurele Mismatch: In tegen tegenstelling tot autoregressieve taalmodellen opereren diffusiebeleidsregels via een multi-stap denoising-keten die genest is binnen de Markov Decision Process (MDP) van de omgeving. Bestaande Direct Preference Optimization (DPO) methoden houden geen rekening met deze duale temporele structuur (interne denoising-stappen versus externe omgevingsdynamiek), waardoor de afleiding van een hanteerbare DPO-objectief niet triviaal is.
2. Corrupte Menselijke Feedback: Menselijke feedback in robotbesturing is vaak stochastisch en bevat inconsistenties die verder gaan dan standaard ruis-aannames (bijv. label-flips, onenigheid tussen annotatoren of niet-stationaire criteria). Naïeve fine-tuning op dergelijke data zorgt ervoor dat modellen overfitten op conflicterende vergelijkingen, waardoor ze effectief optimaliseren voor foutieve beperkingen in plaats van de menselijke intentie, wat zowel de alignment als de taakprestaties verslechtert.

2. Methodologie

Het voorgestelde framework, RoDiF (Robust Direct Fine-Tuning), pakt deze uitdagingen aan via een verenigde theoretische formulering en een geometrisch gefundeerde optimalisatiestrategie.

2.1 Verenigde MDP-formulering

Om DPO voor diffusiebeleidsregels mogelijk te maken, introduceren de auteurs een Verenigde MDP die de diffusie denoising-keten coherent integreert met de omgevingsdynamiek.

• Definitie van Toestand en Actie: De verenigde toestand $s^+$ combineert de huidige omgevingstoestand $s_t$ met de initiële ruisvector $a^K_t$. De verenigde actie $a^+$ vertegenwoordigt de sequentie van denoising-stappen $(a^{K-1}_t, \dots, a^0_t)$.
• Transitie-dynamiek: De transitiefunctie vlakt het proces af door de willekeurige ruisinjectie en de omgevingstransitie als één enkele stap te behandelen.
• Beleidsfactorisatie: De verenigde policy $\pi_\theta(a^+|s^+)$ wordt gefactoriseerd in het product van de conditionele denoising-kansen bij elke stap $k$, waardoor de standaard DPO-reparameterisatietechnieken kunnen worden toegepast op het diffusieproces zonder expliciete beloningsmodellering (reward modeling).

2.2 Geometrisch Hypothese-snijdend Perspectief

RoDiF interpreteert de DPO-objectief vanuit een geometrische lens.

• Hypotheseruimte: De parameterruimte van het diffusiebeleid wordt beschouwd als een hypotheseruimte $\Theta$.
• Voorkeur als Sneden (Cuts): Elk menselijk voorkeurspaar (winnend traject $\tau_w$ versus verliezend traject $\tau_l$) induceert een ongelijkheidsbeperking (een "cut") op de parameterruimte. Een geldige beleidsparameter moet voldoen aan $\Delta Q_\theta \geq 0$ voor het geprefereerde paar.
• Het Ruisprobleem: In de aanwezigheid van gecorrupte labels kan een enkel onjuist voorkeurspaar een "valse cut" creëren die de ware optimale parameter $\theta_H$ uitsluit van de intersectie van alle cuts, wat het leerproces onherroepelijk ontspoort.

2.3 Conservatieve Stemstrategie

Om robuustheid te bereiken zonder een specifieke ruisverdeling aan te nemen, gebruikt RoDiF een conservatieve snijstrategie:

• Stemmechanisme: In plaats van te vereisen dat een parameter aan alle voorkeurs-cuts voldoet (wat faalt als een label gecorrumpeerd is), behandelt de methode elke cut als een stem.
• Conservatief Drempelniveau: Een conservativiteitsniveau $\gamma \in [0, 1]$ wordt geïntroduceerd, dat een geschatte bovengrens is op de corruptiegraad. De optimalisatie-objectief wordt versoepeld om parameters te behouden die aan ten minste $\lfloor(1-\gamma)N\rfloor$ cuts voldoen.
• Robuuste Verliesfunctie: De standaard DPO-loss wordt aangepast naar een robuuste loss $L_{RoDiF}$. De niet-differentieerbare Heaviside-stapfunctie (gebruikt om stemmen te tellen) wordt versoepeld met behulp van een sigmoidfunctie om gradiëntgebaseerde optimalisatie mogelijk te maken. Dit stelt de policy in staat om tot $\gamma N$ inconsistente labels te negeren terwijl het nog steeds convergeert naar de ware mens-gealigneerde policy.

3. Belangrijkste Bijdragen

1. Verenigde MDP-formulering: Een nieuwe formulering die diffusie denoising-stappen integreert met omgevingstransities, wat de afleiding van een hanteerbare, beloningsvrije DPO-objectief voor diffusiebeleidsregels mogelijk maakt.
2. RoDiF Algoritme: Een geometrisch gefundeerd algoritme dat robuuste fine-tuning van diffusiebeleidsregels realiseert door gebruik te maken van conservatieve hypothese-snijtechnieken. Het verzacht de impact van inconsistente menselijke voorkeur-labels zonder voorafgaande kennis van de ruisverdeling te vereisen.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat RoDiF de state-of-the-art baselines (inclusief standaard DPO, CPO, IPO en SimPO) aanzienlijk overtreft op hoogdimensionale, langdurige manipulatietaken, waarbij een hoge alignment-prestatie behouden blijft, zelfs onder 30% gecorrupte voorkeur-labels.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf langdurige manipulatietaken (Avoid, Pushing, Sorting, Aligning, Stacking) met drie verschillende diffusie-backbones (UNet, Transformer, MLP).

• Effectiviteit van Alignment: RoDiF stuurde de voorgetrainde beleidsregels succesvol naar door de gebruiker gespecificeerde modi, zelfs wanneer die modi niet dominant waren in de voorgetrainde policy (bijv. het bereiken van >84% mode alignment in de "Avoid" taak waar de baseline <21% was).
• Robuustheid tegen Ruis:
  • Onder 0% corruptie presteerde RoDiF vergelijkbaar met standaard DPO.
  • Onder 20% en 30% corruptie presteerden standaard DPO en andere baselines (zoals SimPO) significant slechter (bijv. de succesrate van SimPO daalde van 43% naar 10% onder 20% ruis).
  • RoDiF behield een hoge prestatie (>84% succesrate) over alle ruisniveaus, waarbij het sturende signaal effectief werd geïsoleerd van systematische labelruis.
• Architectuur-agnosticisme: De methode bleek effectief over diverse diffusie-architecturen (UNet, Transformer, MLP).
• Sample Efficiëntie: Het framework demonstreerde een hoge sample efficiëntie en bereikte sterke alignment met slechts 10 winner-loser paren in specifieke taken.

5. Betekenis en Claims

Het artikel claimt dat RoDiF de veiligheid en betrouwbaarheid van voorkeur-gebaseerd robotleren vooruit helpt. Door expliciet de effecten van foutieve of inconsistente menselijke feedback te mitigeren, vermindert het framework het risico op breekbare of instabiele beleidsupdates. Dit wordt gepresenteerd als een cruciale stap naar de inzet van robotische systemen in echte, veiligheidsgevoelige omgevingen waar menselijke annotatoren imperfecte data kunnen leveren. Het werk benadrukt robuustheid als een fundamentele vereiste voor verantwoorde inzet, en biedt een oplossing die niet afhankelijk is van perfecte data of complexe beloningsmodellering.