Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

In de snel evoluerende wereld van kunstmatige intelligentie proberen onderzoekers voortdurend machines te bouwen die veel dingen tegelijkertijd kunnen doen. Stel je een student voor die jarenlang wiskunde heeft beheerst, een andere die een coderingswizard is geworden, en een derde die een expert is in het opvolgen van complexe instructies. In het verleden had een computer drie aparte programma's nodig om al deze vaardigheden te gebruiken, elk toegewijd aan één onderwerp. Dit is inefficiënt en vereist enorme hoeveelheden computergeheugen en energie. Een elegantere oplossing is om deze afzonderlijke experts te combineren tot één veelzijdig model. Dit proces, bekend als modelmerging, probeert de "kennis" van verschillende gespecialiseerde programma's te versmelten tot één verenigde hersenpan zonder het vanaf nul opnieuw te hoeven trainen. Deze versmelting is echter berucht moeilijk. Wanneer je twee verschillende sets instructies mengt, botsen ze vaak. De computer raakt in de war en het resulterende model presteert slecht op alle taken, alsof de verschillende vaardigheden vechten om dezelfde ruimte in het geheugen van de machine.

De kern van dit probleem ligt in de manier waarop deze kunstmatige breinen informatie opslaan. Binnen een neuraal netwerk delen verschillende vaardigheden vaak dezelfde fysieke paden, een fenomeen dat onderzoekers superpositie noemen. Het is alsof meerdere verschillende ideeën tegelijkertijd proberen een smalle gang te bezetten. Wanneer onderzoekers proberen de gewichten van twee modellen bij elkaar op te tellen, interfereren deze overlappende ideeën met elkaar, wat een wirwar creëert waarbij nuttige informatie verloren gaat. Eerdere pogingen om dit op te lossen, bestonden uit het proberen ontwarren van de knoop binnen de oorspronkelijke, drukke ruimte, vaak door delen van het model weg te snijden of getallen te herschalen. Maar wanneer de interferentie ernstig is, zijn deze methoden alsof je een stapel gemengde draden probeert te sorteren door alleen naar de knopen te kijken; ze kunnen de individuele strengen niet volledig scheiden zonder het circuit te beschadigen.

Een team van onderzoekers heeft een nieuwe manier voorgesteld om dit op te lossen door het perspectief volledig te veranderen. In plaats van te proberen de draden in de drukke gang te ontwarren, stellen ze voor om de draden naar een veel grotere, lege kamer te verplaatsen waar voldoende ruimte is om ze apart neer te leggen. Ze noemen deze aanpak High-Dimensional Sparse Disentanglement Merging. De onderzoekers gebruikten een hulpmiddel dat bekend staat als een Sparse Autoencoder, dat fungeert als een vertaler. Het neemt de verstrengelde instructies van een specifieke taak en zet deze om in een lange lijst van eenvoudige, onderscheidende kenmerken. Omdat deze nieuwe lijst veel langer is dan de oorspronkelijke set instructies, krijgt elk kenmerk zijn eigen toegewezen ruimte, waardoor de computer precies kan zien welk deel van de kennis bij wiskunde hoort, welk bij coderen en welk bij het opvolgen van instructies. Zodra de informatie is gescheiden in deze ruimere, hoog-dimensionale kamer, kunnen de onderzoekers de relevante delen zorgvuldig combineren zonder dat de verschillende vaardigheden op elkaars tenen staan. Nadat de combinatie is voltooid, vertaalt de vertaler de schone, gescheiden lijst terug naar het oorspronkelijke formaat, zodat de computer deze kan gebruiken.

Het vertalen van elke laag van een massaal model naar dit nieuwe formaat zou echter ongelooflijk traag en duur zijn. Om dit op te lossen, introduceerden de onderzoekers een slimme selectiemethode genaamd een Group-Ranked Zeroth-Order Optimizer. Dit hulpmiddel fungeert als een verkenner die snel test welke delen van het model het meest cruciaal zijn voor een specifieke taak. Dit doet het door kleine, willekeurige aanpassingen aan verschillende secties van het model aan te brengen en te zien hoeveel de prestaties veranderen, zonder complexe gradiënten te hoeven berekenen. Door alleen de belangrijkste lagen te identificeren, past het systeem het dure vertaal- en scheidingsproces alleen toe waar het echt nodig is, terwijl de rest van het model met eenvoudigere, snellere methoden kan worden samengevoegd. Dit zorgt ervoor dat het systeem efficiënt blijft terwijl het nog steeds profiteert van diepe scheiding.

De onderzoekers testten dit nieuwe framework met behulp van de Qwen2.5-serie taalmodellen, die krachtige kunstmatige intelligentiesystemen zijn. Ze creëerden expertmodellen voor taken zoals wiskundig redeneren, codegeneratie en het opvolgen van complexe instructies. Wanneer ze deze experts samenvoegden met traditionele methoden, waren de resultaten vaak teleurstellend en daalde de prestatie aanzienlijk op moeilijke taken. In tegenstelling hiertoe presteerde hun nieuwe methode consequent beter dan bestaande technieken. Op een groot model met 7 miljard parameters behaalde hun aanpak een gemiddelde score van 68,49 over de taken wiskunde, coderen en instructieopvolging, waarmee het de vorige beste methode met een duidelijke marge versloeg. De verbetering was nog dramatischer in scenario's met veel conflict. Wanneer ze vier verschillende taken probeerden samen te voegen, inclusief veiligheidsafstemming (safety alignment), op een kleiner model van 1,5 miljard parameters, zagen traditionele methoden hun gemiddelde scores dalen tot zo laag als 15,45. De nieuwe methode behield een score van 36,48, waardoor het vermogen van het model om wiskunde en code te doen en zich te houden aan strikte veiligheidsrichtlijnen effectief werd behouden.

De studie suggereert dat de sleutel tot succesvolle modelmerging niet alleen ligt in hoe we de getallen mengen, maar in waar we ze mengen. Door de taakinformatie te projecteren in een hoger-dimensionale ruimte waar kenmerken duidelijk van elkaar te onderscheiden zijn, waren de onderzoekers in staat de interferentie te verminderen die deze systemen gewoonlijk teistert. Ze ontdekten dat hun verbeterde autoencoder, die een specifieke techniek gebruikt om de belangrijkste kenmerken actief te houden terwijl de rest wordt genegeerd, cruciaal was voor dit succes. Bovendien bewees hun laag-selectietool dat het niet nodig is om deze complexe scheiding op elk deel van het model toe te passen; het concentreren op de kritieke lagen was genoeg om de voordelen te benutten. De resultaten wijzen erop dat deze aanpak een robuuste manier biedt om generalistische modellen te bouwen die meerdere, conflicterende taken kunnen afhandelen zonder de noodzaak van extra trainingsdata of dure hertraining. Hoewel de methode enige initiële computationele inspanning vereist om de vertaalinstrumenten op te zetten, is de beloning een model dat zijn gespecialiseerde vaardigheden veel beter behoudt dan die gecreëerd met oudere technieken. Dit werk biedt een concreet pad voor het creëren van meer capabele en veelzijdige kunstmatige intelligentiesystemen die het complexe landschap van meerdere menselijke taken kunnen navigeren zonder de weg kwijt te raken.