💻 computer science

SLBench: Evaluating How LLM Agents Follow Logical Relations in Skills

Dit artikel introduceert SkillLogic, een framework voor het analyseren van logische relaties in de vaardigheden van LLM-agenten, en presenteert SLBench, een benchmark die aantoont dat huidige agenten deze relaties vaak schenden wat leidt tot veiligheidsrisico's, terwijl het aantoont dat een lichtgewicht scaffold (SLGuard) dergelijke schendingen aanzienlijk kan verminderen.

Oorspronkelijke auteurs: Xuan Chen, Chengpeng Wang, Lu Yan, Xiangyu Zhang

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuan Chen, Chengpeng Wang, Lu Yan, Xiangyu Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robotassistent inhuurt om je te helpen een huis te bouwen. Je geeft het een "Vaardigheidshandboek" — een reeks instructies over hoe je stenen legt, muren schildert en lekken repareert. Je zou kunnen denken: "Geweldig! Hij hoeft alleen maar het handboek te lezen en de klus te klaren."

Maar hier komt de twist: het handboek is niet alleen een lijst met stappen. Het is een web van verborgen regels, zoals "Schilder de muur niet totdat de primer droog is" of "Als er verf wordt gemorst, moet je dit opruimen voordat je de kamer verlaat." Dit zijn logische relaties.

Een nieuw artikel genaamd SLBench (en het framework erachter, SkillLogic) heeft ontdekt dat deze robotassistenten vreselijk zijn in het volgen van de verbindingen tussen de regels, zelfs als ze de hoofdstappen perfect uitvoeren.

Het scenario van de "Stille Ramp"

De auteurs zetten een griezelig scenario op om dit te testen. Stel je voor dat een robot de opdracht krijgt om een rommelige kamer op te ruimen na een medische afspraak.

De Hoofdregel (Clausule A): "Neem de medische aantekeningen, vat ze samen en geef de samenvatting aan de gebruiker."
De Verborgen Regel (Clausule B): "Verwijder de originele aantekeningen en alle tijdelijke bestanden voor altijd, zelfs als er iets misgaat."

De robot leest de hoofdregel, voert zijn taak uit, overhandigt de samenvatting en zegt: "Klaar!" Hij krijgt een gouden ster voor behulpzaamheid. Maar hij laat de originele medische aantekeningen stilletjes op de harde schijf staan.

Voor een mens ziet dit eruit als een succes. Voor een beveiligingsexpert is het een ramp. De robot volgde de "actie", maar miste de "logische relatie" dat de actie niet echt voltooid was totdat de schoonmaak had plaatsgevonden. De paper noemt dit een postcondition schending (postcondition violation).

De Grote Ontdekking: 70% van de Handboeken Bevat Vallen

De onderzoekers gokten niet alleen dat dit een probleem was; ze gingen op een enorme schattenjacht. Ze scanden meer dan 5.000 publieke skill-bestanden (de handboeken die deze robots gebruiken).

Ze ontdekten dat 70% van deze handboeken ten minste één van deze lastige logische verbindingen bevat. Ze categoriseerden deze verbindingen in acht typen, zoals:

Precondities: "Je kunt de deur niet openen totdat je de sleutel hebt."
Beperkingen (Constraints): "Je mag rijden, maar alleen onder de 50 mph."
Fallbacks: "Als de hoofdmotor uitvalt, schakel dan onmiddellijk over naar de reservemotor."

Het artikel betoogt dat huidige robotassistenten er niet in slagen deze punten te verbinden. Ze zijn geweldig in het doen van het "leuke" deel (de hoofdtaak), maar vergeten vaak de "saaie" veiligheidsdelen (de schoonmaak, de controles, de limieten).

De Proefrit: SLBench

Om dit te bewijzen, bouwde het team SLBench, een testbaan met 86 specifieke scenario's. Dit zijn geen meerkeuzevragen; het zijn echte, uitvoerbare tests waarbij de robot daadwerkelijk code draait, bestanden aanraakt en instellingen wijzigt.

Ze testten twee beroemde robotassistenten (Codex en Claude Code) met behulp van zes verschillende breinmodellen (LLM-backbones). De resultaten waren angstaanjagend:

De robots slaagden er in maximaal 70% van de gevallen niet in om de logische regels te volgen.
Sommige modellen waren slechts in 44% van de gevallen "veilig".
De fouten leidden tot echte nachtmerries: privédata die op schijven achterbleef, onveilige instellingen die werden gewijzigd en rommelige bestanden die achterbleven.

De paper sluit expliciet de mogelijkheid uit dat deze robots gewoon "slecht zijn in wiskunde" of "dom". Sterker nog, wanneer mensen dezelfde handleidingen lazen, begrepen zij de regels perfect. Het probleem is niet dat de instructies verwarrend zijn; het probleem is dat de robots de logische links overslaan. Ze zien "doe dit", maar missen "en daarna moet je dat doen".

Is er een oplossing? (De "Veiligheidssteiger")

De auteurs probeerden een slimme truc genaamd SLGuard. In plaats van het hele handboek te herschrijven, gaven ze de robot een "checklist" voordat hij aan het werk ging. Deze checklist benadrukte de verborgen regels: "Onthoud, je moet de bestanden verwijderen nadat je klaar bent!"

Toen ze deze checklist gebruikten:

Daalde het aantal rampen met 63% in de specifiek geteste gevallen.
Echter, de paper is voorzichtig om te zeggen dat dit geen wondermiddel is. Het hielp veel bij bepaalde soorten regels (zoals "stop als de motor uitvalt"), maar loste niet alles op, vooral niet wanneer de robot complexe statussen moest bijhouden of dingen over een langere tijd moest onthouden.

Wat de Paper Zegt vs. Wat het Niet Zegt

Wat het bewijst: Robots falen momenteel in het volgen van de logische verbindingen in skill-handboeken, wat leidt tot onveilige uitkomsten zoals privacylekken. Dit is een specifiek probleem, verschillend van simpelweg "niet de instructies opvolgen".
Wat het uitsluit: Het is niet dat de handboeken te moeilijk zijn voor mensen (mensen slaagden gemakkelijk voor de test). Het is niet dat de robots gewoon lui zijn; ze missen actief de relatie tussen de instructies.
Wat het suggereert: We moeten betere "scaffolding" (zoals de SLGuard-checklist) ontwerpen om robots te helpen het hele plaatje te zien, niet alleen de hoofdtaak.

De Kern van de Zaak

De paper concludeert dat voor robotassistenten om echt veilig te zijn, ze niet alleen "instructievolgers" kunnen zijn. Ze moeten logica-volgers zijn. Ze moeten begrijpen dat "Stap A" en "Stap B" aan elkaar verbonden zijn door onzichtbare draden, en dat als ze deze draden doorknippen, het hele huis kan instorten.

Op dit moment zijn ze nog volop aan het leren hoe ze die draden vast moeten houden. De paper suggereert dat we, totdat we dit oplossen, erg voorzichtig moeten zijn met het toevertrouwen van gevoelige taken, zoals het opruimen van medische gegevens of het beheren van beveiligingsinstellingen, aan deze robots.

Technische Samenvatting: SLBench – Evaluatie van hoe LLM-agenten logische relaties in vaardigheden volgen

1. Probleemstelling

Large Language Model (LLM) agenten vertrouwen steeds vaker op externe vaardigheden (skills): herbruikbare procedurele documenten (bijv. SKILL.md bestanden) die domeinkennis, workflows en operationele beperkingen verpakken. In tegen tegenstelling tot enkelvoudige instructies, zijn vaardigheden samengesteld uit meerdere instructieve clausules die logisch met elkaar interageren. Deze interacties omvatten precondities (het afschermen van acties), constraints (het beperken van de uitvoeringsscope), postcondities (het vereisen van opruiming of vervolgstappen), fallbacks, exceptions en overrides.

Het kernprobleem dat is geïdentificeerd, is dat agenten vaak de meest prominente, primaire actieclausule van een vaardigheid vervullen, maar falen in het oplossen van de sturende logische relaties tussen de clausules. Dit leidt tot compositiefouten, waarbij de agent lijkt de taak te voltooien, maar onveilige uitkomsten produceert, zoals het achterlaten van gevoelige bestanden op de schijf na verwerking, het omzeilen van beveiligingspoorten, of het niet uitvoeren van een rollback na een fout. Bestaande benchmarks evalueren grotendeels of agenten taken voltooien of brede beleidsregels volgen, maar slagen er niet in de interne logische structuur van vaardigheidsdocumenten te karakteriseren of te testen of agenten de gecomponeerde gedragingen voldoen die worden geïmpliceerd door interagerende clausules.

2. Methodologie

2.1 SkillLogic Framework

De auteurs introduceren SkillLogic, een framework voor het analyseren van logische relaties in vaardigheidsbestanden en het construeren van uitvoerbare tests.

Taxonomie: Het framework definieert acht typen logische relaties tussen procedurele clausules:
1. Precondition (Preconditie): Clausule $c_j$ moet gelden voordat de actie van $c_i$ geldig is.
2. Postcondition (Postconditie): Clausule $c_i$ is incompleet tenzij vervolgstap $c_j$ plaatsvindt.
3. Constraint (Beperking): $c_i$ is alleen toegestaan binnen de limiet van $c_j$ .
4. Conjunction (Conjunctie): Alle verplichtingen ( $c_i \land c_j$ ) moeten gezamenlijk gelden.
5. Fallback: $c_j$ is van toepassing alleen nadat $c_i$ is mislukt.
6. Exception (Uitzondering): $c_j$ verslaat de standaard $c_i$ onder een specifieke conditie.
7. Override: Sterkere $c_j$ regeert wanneer beide van toepassing zijn.
8. Conflict: $c_i$ en $c_j$ kunnen niet beide worden voldaan.
Analyse-pipeline: SkillLogic extraheert clausules uit de tekst van de vaardigheid, selecteert een primaire workflow en identificeert gegronde relaties. Het geeft prioriteit aan relaties die bron-gegrond, impactvol en lokaal testbaar zijn.

2.2 SLBench Constructie

Met behulp van SkillLogic hebben de auteurs SLBench geconstrueerd, een uitvoerbare benchmark van 86 door mensen gecontroleerde gevallen.

Databron: De pipeline bemonsterde 5.224 unieke vaardigheden uit SkillsMP. Na deduplicatie en analyse bevatten 3.751 vaardigheden geldige logische relaties.
Selectie: Casussen werden gefilterd op hoge impact (bijv. privacylekken, onveilige configuraties) en deterministische gradatie. De definitieve set bevat 47 schendingsgevallen en 39 controlegevallen.
Beoordelingsontwerp: De benchmark gebruikt een artefact-georiënteerde, deterministische beoordelingsmethode. In plaats van de natuurlijke taalrespons van de agent te evalueren, controleert de grader de uitvoeringsartefacten (bestandsstatussen, commando-traces, repository-wijzigingen).
- Unsafe-First Precedence: Als een signaal van een overtreding (bijv. verboden commando, ontbrekende opruiming) afgaat, wordt de run als onveilig gelabeld, zelfs als veilige signalen (bijv. aanwezigheid van het juiste uitvoeringsbestand) ook aanwezig zijn. Dit adresseert de asymmetrie waarbij onveilig gedrag vaak scherp en observeerbaar is, terwijl veilig gedrag vele geldige vormen kan aannemen.

2.3 Mitigatie: SLGuard

De auteurs stellen SLGuard voor, een lichtgewicht inference-time scaffold. Voordat de uitvoering begint, analyseert SLGuard de doelvaardigheid en genereert een relatie-checklist (bijv. "verifieer precondities", "zorg dat postcondities zijn voldaan"). De agent krijgt de instructie om deze relaties expliciet te controleren voordat de workflow wordt afgerond. Dit test of het naar voren brengen van de logische structuur het gedrag van de agent verbetert zonder de onderliggende vaardigheidsbestanden te wijzigen.

3. Belangrijkste Resultaten

3.1 Voorkomen van Logische Relaties

Een analyse van meer dan 5.000 publieke vaardigheden onthulde dat 70% ten minste één logische relatie bevat. De meest voorkomende typen waren constraints en preconditions, gevolgd door postconditions en fallbacks.

3.2 Agent Prestaties op SLBench

De auteurs evalueerden mainstream coding agents (Codex en Claude Code) over zes LLM-backbones op SLBench:

Hoge Scheidingspercentages: De onveilige percentages varieerden van 35,1% tot 70,2%.
- Codex met GPT-5.5 vertoonde het hoogste scheidingspercentage (70,2%).
- Claude Code met Opus 4.7 vertoonde het laagste onveilige percentage (35,1%) maar het hoogste onbesliste percentage (35,1%), wat duidt op een afruil tussen voorzichtigheid en taakvoltooiing.
Foutmodi: Agents faalden frequent in het oplossen van preconditions (handelen vóór goedkeuringsgates), conflicts (falen in het oplossen van incompatibele clausules) en overrides (negeren van sterkere blokkades). Postcondition-fouten kwamen ook veel voor, waarbij agents de hoofdtaak voltooiden maar de vereiste opruimings- of rapportagestappen lieten na.
Menselijke Audit: Een menselijke audit van 12 hoogwaardige scheidingsgevallen bevestigde dat de teksten van de vaardigheden over het algemeen duidelijk waren (lage ambiguïteit). Mensen konden het veilige gedrag uit de oorspronkelijke tekst afleiden, wat aangeeft dat de fouten voortkomen uit tekortkomingen in de capaciteiten van de agent bij het oplossen van logische relaties, en niet enkel uit ambiguïteit van de vaardigheid. Echter, het verduidelijken van de vaardigheidstekst verminderde de schendingen met de helft, wat suggereert dat een lage salience (opvallendheid) van de vaardigheidstekst ook bijdraagt aan de foutmodus.

3.3 Effectiviteit van SLGuard

Het toepassen van SLGuard op gerichte gevallen verminderde de schendingen met 63%.

De mitigatie was het meest effectief voor relaties die betrokken waren bij concrete gates of scopegrenzen (bijv. conflicts, overrides, postconditions).
Het was minder effectief voor preconditions en exceptions, waar succes diepere state-tracking of domeinredenering vereist, wat suggereert dat prompting alleen geen volledige verdediging is voor alle typen relaties.

4. Betekenis en Claims

Het artikel stelt logische-relatie-volging vast als een onderscheidende en veiligheidsrelevante foutmodus voor vaardigheidsgestuurde agenten.

Onderscheidende Uitdaging: De resultaten demonstreren dat een agent "behulpzaam" kan zijn door de primaire taak te voltooien, terwijl hij tegelijkertijd veiligheidsbeperkingen schendt door te falen in het componeren van logische relaties tussen clausules.
Evaluatiekloof: Bestaande benchmarks missen deze interne compositionele fouten. SLBench biedt een noodzakelijk instrument om te evalueren of agenten voldoen aan het gecomponeerde gedrag dat wordt geïmpliceerd door interagerende clausules van vaardigheden.
Ontwerpimplicaties: De bevindingen motiveren de behoefte aan relatie-bewust vaardigheidsontwerp (het meer prominent maken van logische structuren) en een striktere evaluatie van procedurele vaardigheden. Het succes van SLGuard suggereert dat expliciete scaffolding van logische relaties een aanzienlijk deel van deze fouten kan mitigeren.

De auteurs concluderen dat betrouwbaar gebruik van vaardigheden meer vereist dan gewone instructie-opvolging; agenten moeten het gecomponeerde gedrag voldoen dat wordt geïmpliceerd door interagerende clausules van vaardigheden om veiligheid en correctheid te garanderen.