Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents
Dit artikel introduceert Harness-IF, een nieuwe benchmark die de werkelijke instructievolgende vermogens van programmeeragenten over diverse oppervlakken evalueert door echt naleven te onderscheiden van toeval met behulp van een nieuwe metriek genaamd Against-Prior Accuracy (AP-Acc), wat onthult dat bestaande benchmarks de prestaties overschatten en dat regelprioriteit niet strikt de promptdiepte volgt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robotkok leert om een complex gerecht te bereiden. Je roept niet alleen één commando zoals "Maak pasta!" aan het einde. In plaats daarvan heb je een hele stapel instructies: een regelboek op de muur (de system prompt), een notitie op de receptenkaart (het projectbestand), een beschrijving van hoe het mes werkt (de tool description), en tot slot jouw specifieke verzoek aan de chef (de user instruction). Lange tijd gaven wetenschappers die AI-chefs testten alleen om één ding: serveerde de chef de pasta? Als het bord er goed uitzag, gaven ze een gouden ster. Maar ze controleerden nooit welke instructies de chef daadwerkelijk had opgevolgd. Misschien negeerde de chef het regelboek over "geen knoflook" omdat hij toevallig toch al van pasta zonder knoflook hield. Dit is de lastige hoek van kunstmatige intelligentie die we verkennen: Instruction Following (instructieopvolging). Het gaat niet alleen om het krijgen van het juiste antwoord; het gaat erom te bewijzen dat de robot de specifieke regels heeft gevolgd die je hem gaf, zelfs wanneer die regels ingaan tegen wat de robot van nature zou hebben gedaan.
Dit artikel, getiteld "Harness-IF", is als een detectiebureau voor AI-chefs. De onderzoekers realiseerden zich dat bestaande tests te makkelijk waren omdat ze alleen naar het eindgerecht keken. Ze wilden weten of de robot daadwerkelijk de regels volgde of dat hij gewoon geluk had. Daarom bouwden ze een nieuwe, supergedetailleerde test genaamd Harness-IF. In plaats van alleen te vragen: "Heb je de pasta gemaakt?", zetten ze 60 realistische programmeerscenario's op waarbij de AI 256 verschillende kleine regels moest volgen. Deze regels waren op verschillende plaatsen in het "brein" van de robot verborgen—sommigen in de system prompt, sommige in projectbestanden, sommige in toolbeschrijvingen en sommige in de directe chat van de gebruiker.
Hier is de grote verrassing die de detectives ontdekten: AI-modellen zijn veel beter in het volgen van regels die overeenkomen met wat ze sowieso al zouden doen dan regels die tegen hun natuurlijke gewoonten ingaan. De onderzoekers noemen dit de "Against-Prior" test. Ze ontdekten dat wanneer een regel de AI dwong om iets anders te doen dan hun standaardgedrag, het succespercentage van de AI aanzienlijk daalde. Gemiddeld presteerden de modellen 5,8 procentpunt slechter bij het volgen van regels die tegen hun natuurlijke stroom in gingen. Het is als een student die een A haalt voor een wiskundetoets omdat hij van wiskunde houdt, maar een C krijgt wanneer de leraar vraagt om een probleem op te lossen met een methode waar hij een hekel aan heeft. Het artikel suggereert dat als we alleen naar het eindcijfer kijken (het succes van de taak), we onszelf voor de gek houden door te denken dat de student een wiskundegenie is, terwijl hij misschien gewoon meelift op zijn natuurlijke talent.
De studie keek ook naar waar de regels geplaatst waren. Je zou denken dat de regel die als laatste wordt uitgesproken (de user instruction) de belangrijkste zou zijn, zoals de laatste persoon die in een vergadering spreekt meestal wint. Maar de data lieten iets anders zien. Regels gevonden in de system prompt, projectbestanden en user instructions waren allemaal even belangrijk, terwijl regels begraven in toolbeschrijvingen of skillbeschrijvingen vaak werden genegeerd. Het blijkt dat de AI meer aandacht besteedt aan de regels van het "grote plaatje" dan aan de details van hoe een specifiek hulpmiddel werkt.
Kortom, dit artikel beweert niet het probleem van het maken van de perfecte AI te hebben opgelost. In plaats daarvan geeft het ons een betere liniaal om te meten hoe goed AI daadwerkelijk luistert. Het laat zien dat huidige AI-modellen geweldig zijn in het doen van wat ze zelf willen doen, maar dat ze nog steeds worstelen wanneer we hen vragen iets te doen wat ze niet natuurlijk zouden kiezen. Door "gelukkige naleving" te scheiden van "ware gehoorzaamheid", hopen de onderzoekers betere tests te bouwen om onze AI-helpers betrouwbaarder te maken, niet alleen succesvoller ogend.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.