Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

Technische Samenvatting: Het trainen van LLM's voor het afdwingen van hiërarchieën met instructies op meerdere niveaus via Gravity-Weighted Direct Preference Optimization

Probleemstelling
Productie-LLM's verwerken momenteel instructies van bronnen met zeer verschillende betrouwbaarheidsniveaus—variërend van onveranderlijke platformveiligheidsbeleidsregels en systeemprompts van ontwikkelaars tot eindgebruikersvragen en potentieel kwaadwillige tool-outputs. Architecturaal worden deze inputs samengevoegd tot een enkele tokensequentie waarbij elke token een uniforme aandacht ontvangt, een staat die wordt beschreven als het uitvoeren van "in kernel mode". Deze structurele uniformiteit creëert een kwetsbaarheid voor prompt injection, waarbij kwaadwillige inputs het gedrag van het model kapen, en laat modellen zonder een principieel mechanisme om conflicten te beslechten tussen legitieme maar concurrerende instructies uit verschillende hiërarchische niveaus. Terwijl eerder werk defensieve strategieën op basis van training heeft voorgesteld, formaliseren bestaande benaderingen hiërarchieën van slechts drie of vier niveaus, behandelen ze alle schendingen als even ernstig, en falen ze in het evalueren van de volledige set van pairwise interacties tussen niveaus die vereist zijn voor moderne deployment-architecturen (bijv. het vijf-tier stakeholder-model van OpenAI).

Methodologie
De auteurs formaliseren een $k$-niveau instructiehiërarchie-probleem, geïnstantieerd voor $k=5$ niveaus:

1. L0 (Platform Governance): Onveranderlijke veiligheidsregels.
2. L1 (Developer System Prompt): Persona en reikwijdte.
3. L2 (Per-User Configuration): Sessievoorkeuren.
4. L3 (User Message): Runtime-input.
5. L4 (Data/Tool Outputs): Externe content.

Deze structuur levert tien onderscheidende pairwise prioriteitsrelaties op die een compliant model moet afdwingen. Om modellen te trainen om deze relaties te respecteren, introduceren zij Gravity-Weighted Direct Preference Optimization (GW-DPO).

• Verliesfunctie: GW-DPO past Offset-DPO (ODPO) aan door een per-sample offset $\delta(i, j)$ te introduceren die schaalt met de structurele afstand tussen conflicterende niveaus. De verliesfunctie is gedefinieerd als:
  $$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$$
  waarbij $\Delta r_\theta$ de impliciete reward margin is.
• Schedules: Twee schedules voor $\delta(i, j)$ worden geëvalueerd:
  • Lineair: Hangt alleen af van het privilege-verschil ($j-i$).
  • Bilateral: Houdt rekening met zowel het privilege-verschil als het privilege van het slachtoffer-niveau ($k-1-i$), wat effectief de ernst van een schending weegt op basis van de "zwaartekracht" (gravity) van het aangetaste niveau.
• Architecturale Aanpassingen: De trainingspipeline integreert twee componenten uit eerder onderzoek:
  • Speciale Delimiter Tokens: Onderscheidende start/eind-tokens voor elk hiërarchisch niveau om grenzen te markeren.
  • Instructional Segment Embeddings (ISE): Leerbare per-token embeddings geïndexeerd door het hiërarchische niveau, toegevoegd aan de token-embeddings.
• Trainingspipeline: Het proces omvat een twee-fasen aanpak:
  1. SFT (Supervised Fine-Tuning): Leert het model de delimiters te herkennen en ISE-informatie te integreren met behulp van een dataset van gealigneerde, gedeeltelijke en triviaal misaligneerde prompts.
  2. GW-DPO: Gebruikt een curriculum learning-strategie (van makkelijk naar moeilijk op basis van de hiërarchische kloof) om de preference objective te optimaliseren op een dataset die expliciete conflicten tussen niveaus bevat.

Belangrijkste Bijdragen

1. Formalisering van een $k=5$ Hiërarchie: Het artikel definieert een vijf-niveau instructiehiërarchie die geworteld is in productie-architecturen, en genereert een aangepaste evaluatiesuite die alle tien de pairwise prioriteitsrelaties test.
2. Gravity-Weighted DPO: De introductie van GW-DPO, specifiek de bilateral schedule, die de trainingsmargin schaalt op basis van zowel de afstand tussen conflicterende niveaus als het privilege van het slachtoffer-niveau. Deze benadering is een Pareto-verbetering ten opzichte van standaard DPO en de lineaire variant.
3. Isolatie van Componenten via Ablaties: De studie isoleert de bijdragen van ISE en hiërarchie-diepte:
   • ISE wordt primair geïdentificeerd als een refusal-threshold calibrator. Het verwijderen van ISE laat de conflict-resolutie nauwkeurigheid grotendeels intact, maar veroorzaakt een orde van grootte hogere over-refusal (het weigeren van onschuldige prompts), wat suggereert dat ISE helpt het model te laten onderscheiden tussen gestructureerde adversariële spans en onschuldige gestructureerde spans zonder de onderliggende conflict-redenering te veranderen.
   • Vijf-niveau versus Drie-niveau Training: De vergelijking onthult een generalisatie–specialisatie trade-off. Hoewel drie-niveau training (waarbij L0-L2 worden samengevoegd tot een "System" tier) hogere scores behaalt op specifieke conflict-paren via oppervlakte-vorm herkenning, regresseert het op generalisatie naar platte-tekst prompts en faalt het in het oplossen van intra-systeem conflicten (bijv. L1 vs. L2) die geen oppervlakte-kenmerken hebben.

Resultaten
Geëvalueerd op Llama-3.1-8B-Instruct, bereikte de GW-DPO (bilateral) configuratie het volgende:

• Conflict Resolutie: Het behaalde de hoogste Macro Pairwise Priority Adherence ($PPA_{macro} = 0.838$) en Weighted Hierarchy Score ($WHS = 0.885$), waarmee het standaard DPO en de lineaire variant verslaat.
• Over-Refusal: Het behield een Over-Refusal Rate (ORR) van 0.057, ongeveer de helft van de rate van standaard DPO (0.120), en is significant lager dan de No-ISE configuratie (0.576).
• Generalisatie: Op flat-text referentie-splits (waarbij delimiters zijn verwijderd), behield GW-DPO (bilateral) een sterke prestatie ($PPA_{ref} = 0.793$), hoewel iets lager dan de lineaire variant, wat wijst op een robuuste internalisering van hiërarchische semantiek.
• Externe Benchmarks:
  • XSTest: Toonde verbeterde kalibratie op veilige prompts vergeleken met standaard DPO, hoewel met een trade-off in het afhandelen van "veilige-maar-ongebruikelijke" prompts.
  • SEP (Instruction-Data Separation): Bereikte een probe-execution rate van 0.118, een ~5x verbetering ten opzien van het basismodel, wat een effectieve scheiding tussen instructies en data aantoont.
  • TensorTrust: Bereikte een robuustheidsrate van 0.818, wat het basismodel (0.212) aanzienlijk verslaat, hoewel iets lager dan standaard DPO (0.906), wat de kalibratie-trade-off reflecteert.
  • MT-Bench: Behield algemene chat-assistent nuttigheid, met een score van 7.425 voor GW-DPO (bilateral), wat vergelijkbaar is met of hoger is dan de off-the-shelf anchor.

Betekenis en Claims
Het artikel claimt dat structurele margins, specifiek de bilateral schedule in GW-DPO, dienen als een nuttige en complementaire hefboom voor hiërarchie-compliance. De auteurs stellen dat hun recept klaar is om te schalen naar hogere $k$ naarmate deployment-architecturen gelaagder worden.

Cruciaal is dat het artikel de keuze tussen drie-niveau en vijf-niveau training niet frameert als een eenvoudige ordeningsvraag, maar als een generalisatie–specialisatie trade-off. Vijf-niveau training behoudt de resolutie-capaciteit op platte-tekst herschrijvingen en houdt over-refusal gekalibreerd, terwijl drie-niveau training een nauwer meesterschap levert over specifieke subsets via oppervlakte-correlaties. De auteurs benadrukken dat de bilateral schedule de enige configuratie is die simultaan de conflict-resolutie verbetert en over-refusal vermindert in vergelijking met de lineaire schedule, wat aansluit bij de "no write up" beperkingen van klassieke beveiligingsmodellen (Biba, 1977).

Het werk concludeert dat hoewel het recept effectief verdedigt tegen prompt injection en de hiërarchie afdwingt, het geen volledige adversariële defensie is tegen gemotiveerde aanvallers en zorgvuldige beleidsoverwegingen vereist met betrekking tot het onderdrukken van gebruikerszorgen ten gunste van organisatorische prioriteiten.