Attribution Consistency in Fine Tuning Makes Refusal Less Sensitive to Paraphrase in a Small Tool Using LLM Agent
Deze voorlopige studie toont aan dat het toepassen van Latent Attribution Regularization (LAR) tijdens het fine-tunen de attributieconsistentie van een kleine tool-gebruikende LLM-agent verbetert, waardoor de gevoeligheid voor geparafraseerde schadelijke verzoeken wordt verminderd en weigeringsbeslissingen worden gestabiliseerd zonder de detectieprestaties significant te compromitteren, hoewel het risico op excessieve weigering met zich meebrengt als het op onschadelijke voorbeelden wordt toegepast.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie is er een groeiende klasse systemen bekend als agenten. In tegenstelling tot standaard chatbots die simpelweg vragen beantwoorden, zijn deze agenten ontworpen om actie te ondernemen. Ze kunnen hulpmiddelen gebruiken, code uitvoeren of met andere software communiceren om complexe taken te voltooien. Deze capaciteit maakt ze ongelooflijk nuttig, maar het verhoogt ook de inzet voor veiligheid. Als een chatbot een schadelijk verzoek verkeerd begrijpt, geeft hij misschien alleen een slecht antwoord. Als een agent hetzelfde verzoek verkeerd begrijpt, kan hij een gevaarlijke actie uitvoeren, zoals bestanden verwijderen of privégegevens verzenden. Om dit te voorkomen, leren onderzoekers deze modellen om schadelijke instructies te weigeren. Echter, deze veiligheidstraining is verrassend fragiel. Een model kan een verzoek weigeren als het op een bepaalde manier wordt geformuleerd, maar als een mens hetzelfde verzoek herformuleert met andere woorden of een andere zinsstructuur, kan het model plotseling instemmen met het schadelijke ding doen. Deze inconsistentie is een grote hindernis voor het inzetten van betrouwbare agenten in de echte wereld.
Een onderzoeker genaamd Junaid Hassan zette zich af om dit specifieke probleem van inconsistentie op te lossen. Het doel was niet alleen om een model vaker te laten weigeren, maar om de weigering van het model stabiel te maken. Een model dat alles weigert is consistent, maar het is ook nutteloos omdat het niet zal helpen bij onschuldige taken. De uitdaging was om een manier te vinden om de beslissing van het model om "nee" te zeggen robuust te maken tegen veranderingen in bewoording, zonder het te voorzichtig te maken om "ja" te zeggen wanneer het dat wel zou moeten. Om dit te testen, werkte de onderzoeker met een klein, efficiënt AI-model dat ontworpen is om hulpmiddelen te gebruiken. Het team gebruikte een dataset genaamd AgentHarm, die honderden scenario's bevat waarin een agent wordt gevraagd om schadelijke taken uit te voeren, naast veilige versies van diezelfde taken. Cruciaal is dat elk schadelijk verzoek werd gekoppeld aan verschillende omschrijvingen, waardoor de onderzoekers konden zien of de beslissing van het model veranderde wanneer de woorden veranderden maar de betekenis hetzelfde bleef.
De onderzoeker testte een nieuwe trainingsmethode genaamd Latent Attribution Regularization. In eenvoudige termen leert deze methode het model om op een consistente manier aandacht te besteden aan het belang van de woorden die het leest. Wanneer het model een verzoek verwerkt, wijst het een niveau van belang toe aan elk woord om te beslissen wat het moet doen. De trainingsstraf zorgt ervoor dat als het verzoek met andere woorden wordt herschreven, het patroon van belang dat aan de ideeën wordt toegekend, hetzelfde blijft. Dit wordt vergeleken met een standaard trainingsmethode die simpelweg probeert het juiste antwoord te geven voor zowel het originele als het herschreven verzoek, zonder deze consistentie in hoe het denkt af te dwingen. De studie was zorgvuldig om de twee methoden eerlijk te vergelijken, waarbij werd gewaarborgd dat elk verschil in resultaten voortkwam uit de techniek van de training zelf en niet uit toeval of verschillende hoeveelheden data.
De resultaten lieten zien dat de nieuwe methode werkte. Wanneer de modellen werden aangepast om een specifiek, klein percentage onschuldige taken te weigeren om te garanderen dat ze niet overdreven voorzichtig waren, was het model dat getraind was met de consistentiemethode aanzienlijk stabieler. In de standaard trainingsgroep had ongeveer 25% van de taalfamilies gemengde resultaten, wat betekende dat het model een versie van een verzoek zou weigeren maar zou instemmen met een omschrijving ervan. Met de nieuwe consistentiemethode daalde dit aantal naar 19%. Bovendien daalde de snelheid waarmee het model zijn beslissing van "nee" naar "ja" veranderde, enkel omdat de woorden veranderden, van ongeveer 11% naar 9%. De onderzoekers maten ook een score die reflecteert hoe waarschijnlijk het is dat het model weigert, ongeacht een specifiek afkappunt, en vonden dat deze score veel minder veranderde wanneer de bewoording veranderde. Dit geeft aan dat de interne logica van het model voor het besluiten om te weigeren steviger was geworden.
Belangrijk is dat de studie bevestigde dat deze stabiliteit niet ten koste ging van het vermogen van het model om schade te detecteren. De nieuwe methode maakte het model niet aanzienlijk beter of slechter in het onderscheiden van een schadelijk en een onschuldig verzoek in algemene zin. De verbetering zat puur in de consistentie van het besluitvormingsproces. De research onthulde echter ook een significante foutgeval die dient als waarschuwing voor toekomstig werk. In een eerdere poging, toen de onderzoekers probeerden het model hoe het met onschuldige taken moest omgaan met behulp van alleen tekstgebaseerde voorbeelden, leerde het model een slechte gewoonte aan. Het begon bijna alle verzoeken die met hulpmiddelen te maken hadden te weigeren, zelfs de veilige, en stopte volledig met het gebruiken van de hulpmiddelen. Dit gebeurde omdat de trainingsdata het model niet liet zien hoe het hulpmiddelen in een veilige context moest gebruiken. Deze mislukking benadrukt dat voor agenten de trainingsdata voorbeelden moet bevatten van hoe hulpmiddelen veilig te gebruiken, niet alleen hoe vragen te beantwoorden.
De studie concludeert dat het mogelijk is om de weigeringbeslissing van een AI-agent consistent te maken, maar dat dit specifieke trainingstechnieken vereist die kijken naar hoe het model informatie verwerkt, en niet alleen naar het uiteindelijke antwoord. Hoewel de resultaten veelbelovend zijn, zijn ze voorlopig, gebaseerd op een enkele kleine model en een beperkt aantal testruns. De onderzoeker merkt op dat toekomstig werk dit op grotere modellen moet testen, met meer variaties in de trainingsdata, en met menselijke beoordelaars om te waarborgen dat de omschrijvingen werkelijk equivalent zijn. Het werk biedt een duidelijk pad vooruit: door agenten te leren consistent te zijn in hoe ze de woorden die ze lezen wegen, kunnen we ze veiliger en betrouwbaarder maken, zodat ze niet per ongeluk instemmen met het doen van schade simpelweg omdat een verzoek anders werd geformuleerd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.