Asymmetric Collapse in Model Merging: When Refusal Over- writes Recognition
Dit artikel toont aan dat standaard technieken voor het samenvoegen van modellen vaak een asymmetrische instorting veroorzaken waarbij de capaciteiten voor veiligheidsherkenning verloren gaan terwijl brede weigeringsgedragingen behouden blijven, primair omdat de weigeringsfijninstelling significant grotere taakvector-magnitudes induceert die het samenvoegingsproces domineren ondanks het feit dat de vectoren bijna orthogonaal zijn.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een super-slimme robot hebt die nieuwe trucjes kan leren. Soms wil je de robot één specifiek ding leren, zoals hoe je een nepnieuws-kop ziet. Andere keren wil je de robot een andere truc leren, zoals hoe hij "nee" zegt tegen gevaarlijke verzoeken. Maar wat als je de robot beide tegelijkertijd wilt leren te doen? In de wereld van kunstmatige intelligentie is er een slimme afkorting genaamd "model merging" (model-versmelting). In plaats van de robot vanaf nul opnieuw te trainen, nemen wetenschappers twee verschillende versies van de robot — één getraind voor truc A en één voor truc B — en mengen ze hun hersenen wiskundig samen. Het is als het mengen van twee verschillende smaken ijsjes om een nieuwe, perfecte swirl te krijgen. De grote vraag is: als we deze twee verschillende "smaken" aan veiligheidstraining mengen, krijg je dan een robot die goed is in beide, of overstemt de ene smaak de andere volledig? Dit is het mysterie dat een nieuwe studie probeerde op te lossen, door te kijken of we de bekwaamheid van een robot om gevaar te begrijpen kunnen behouden terwijl we ook zijn vermogen om het te weigeren behouden.
De onderzoekers achter deze studie, gepubliceerd op de COLM 2026 conferentie, besloten dit te testen met een specifieke robotmodel genaamd Gemma-3-1B-IT. Ze maakten twee speciale versies van deze robot. De eerste versie, laten we hem "Detective" noemen, werd getraind op een enorme dataset van medische vragen om een expert te worden in het opsporen van hoe schadelijk een prompt is. Het leerde een graduele reactie te geven, zoals zeggen: "Dit is een beetje riskant," of "Dit is zeer gevaarlijk." De tweede versie, "Guardian", werd getraind op een enorme collectie lastige, adversariële prompts die ontworpen zijn om de regels van de robot te breken. Guardian leerde één simpele, botte les: als het er gevaarlijk uitziet, zeg dan gewoon "Nee" en weiger te antwoorden, zonder vragen te stellen.
Het team nam deze twee specialisten en probeerde ze terug te fuseren tot één robot met behulp van vier verschillende wiskundige mengmethoden. Ze verwachtten het resultaat te zijn een robot die zowel het gevaarniveau kan detecteren als het slechte zaken kan weigeren. In plaats daarvan kwamen ze een vreemde en eenzijdige uitkomst tegen. In elk geval nam het "Guardian"-gedrag het volledig over. De gefuseerde robots werden uitstekend in het weigeren van slechte prompts, waarbij ze hoge weigeringspercentages behielden (tussen de 81% en 85%). Echter, de "Detective"-vaardigheden verdwenen bijna volledig. De robots vergaten hoe ze de ernst van een prompt moesten classificeren; hun vermogen om de ernst van een prompt te categoriseren daalde naar bijna nul (tot zo laag als 0,6% of 12,9%, afhankelijk van de methode). Het was alsof de robot leerde de deur dicht te slaan voor alles, en vergat door het kijkgat te gluren om te zien wat er werkelijk aan de hand was.
Waarom gebeurde dit? De wetenschappers keken nauwgezet naar het "DNA" van de twee robots om de schuldige te vinden. Ze ontdekten dat het niet kwam doordat de twee robots met elkaar vochten of in totaal verschillende richtingen opgingen. Sterker nog, hun hersenen stonden bijna loodrecht op elkaar, wat betekent dat ze totaal verschillende dingen probeerden te doen zonder met elkaar te botsen. Het echte probleem was een kwestie van volume. De "Guardian"-robot was getraind op een dataset die ongeveer 29 keer groter was dan de dataset van de "Detective". Hierdoor waren de veranderingen in het brein van de Guardian veel "luider" en krachtiger. Toen de wetenschappers de hersenen mengden, waren de wiskundige instrumenten die ze gebruikten als een volumeknop die het hardere signaal harder zette en het zachtere signaal zachter zette. De grote, krachtige "Nee!" van de "Guardian" overstemde de subtiele, genuanceerde "Misschien" van de "Detective".
Zelfs toen de onderzoekers probeerden dit te herstellen door de trainingsdata van de Guardian te verkleinen naar de grootte van die van de Detective, ging het probleem voor alle mengmethoden niet volledig weg. Dit suggereert dat, hoewel de omvang van de data een belangrijke factor was, de manier waarop de algoritmen voor het samenvoegen met deze "luide" versus "stille" updates omgaan, de echte sleutel is. De studie suggereert dat standaard menginstrumenten momenteel bevooroordeeld zijn om de grote, botte gedragingen (zoals alles weigeren) te behouden, terwijl ze per ongeluk de fijnmazige, gedetailleerde vaardigheden (zoals begrijpen waarom iets slecht is) verwijderen.
Dus, wat betekent dit voor de toekomst? Het artikel suggereert dat als we veilige AI willen bouwen die zowel slechte dingen kan weigeren als de nuances van veiligheid kan begrijpen, we niet zomaar modellen kunnen combineren met de huidige standaardtools. We kunnen de "Detective" binnen de "Guardian" verliezen. De onderzoekers concluderen dat toekomstige methoden slimmer moeten zijn in het balanceren van deze verschillende "volumes" van leren, om ervoor te zorgen dat de robot niet alleen leert om voor alles "nee" te zeggen, maar ook leert om het verschil te begrijpen tussen een kleine waarschuwing en een groot gevaar.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.