Output Dilution: Redundant but Fragile Representations in MoE Models

In het snel evoluerende veld van kunstmatige intelligentie proberen onderzoekers voortdurend te begrijpen hoe grote taalmodellen denken. Deze systemen, die verhalen kunnen schrijven, problemen kunnen oplossen en vragen kunnen beantwoorden, zijn gebouwd uit enorme netwerken van wiskundige verbindingen. Een populair ontwerp voor deze netwerken wordt een "mixture of experts" (een mengeling van experts) genoemd. Stel je een groot team van specialisten voor waarbij, voor elke enkele zin die de computer verwerkt, slechts een kleine groep van hen mag werken. De rest blijft stil. Deze aanpak is ontworend om de computer sneller en efficiënter te maken door minder middelen per taak te gebruiken. Voor wetenschappers die bestuderen hoe ze deze modellen kunnen afstemmen op menselijke waarden—door ervoor te zorgen dat ze ethisch en veilig handelen—biedt deze structuur een verleidelijke mogelijkheid. Als moreel redeneren wordt afgehandeld door een specifieke, geïsoleerde groep van deze specialisten, zouden onderzoekers potentieel alleen die groep kunnen aanpassen of verwijderen om slecht gedrag te corrigeren zonder de rest van het systeem te verstoren. Het is een schone, chirurgische aanpak voor een rommelig probleem.

Echter, een nieuwe studie met behulp van een specifiek open-source model genaamd OLMoE heeft gebleken dat deze hoop ongegrond is. De onderzoekers wilden zien of deze "expert"-modules daadwerkelijk specialiseren in moreel redeneren, of dat ze allemaal hetzelfde doen. Ze wilden ook testen hoe sterk deze morele signalen werkelijk zijn. De resultaten waren verrassend. De studie vond dat het model niet beschikt over een toegewijd team van morele experts. In plaats daarvan bevat bijna elke individuele specialistische module, over alle lagen van het netwerk heen, dezelfde morele informatie. Belangrijker nog, de studie ontdekte dat hoewel deze morele informatie aanwezig is, deze ongelooflijk fragiel is. Het bestaat in het systeem, maar het is zo zwak geuit dat zelfs een kleine hoeveelheid digitale ruis het kan wegvagen, terwijl een standaardmodel van dezelfde grootte deze verstoring gemakkelijk zou kunnen weerstaan.

Het onderzoek begon met het onderzoeken van de interne werking van het OLMoE-model, dat 64 van deze specialistische modules bevat in elk van zijn 16 lagen. De onderzoekers trainden eenvoudige detectoren om te zien of ze morele concepten binnen de output van elke individuele module konden vinden. Als het "mixture of experts"-ontwerp werkte zoals gehoopt, hadden ze verwacht dat slechts een paar specifieke modules goed waren in het herkennen van morele inhoud, terwijl de anderen zich concentreerden op andere taken zoals grammatica of feiten. In plaats daarvan vonden ze het tegenovergestelde. Bijna elke module, ongeacht de positie in het netwerk, was in staat om morele inhoud met hoge nauwkeurigheid te identificeren. De verdeling van dit vermogen was perfect gelijkmatig; geen enkele module was een specialist en geen enkele module was een leek. De router die beslist welke modules aan het werk worden gezet, vertoonde ook geen voorkeur voor het sturen van morele zinnen naar specifieke experts. Het behandelde alle inputs op dezelfde manier. Dit betekent dat het structurele voordeel van het hebben van aparte experts niet helpt bij het isoleren van morele kenmerken voor gerichte interventie.

De onderzoekers richtten hun aandacht vervolgens op een subtielere vraag: hoe robuust is deze morele informatie? Ze vergeleken het OLMoE-model met een standaard, "dense" (dicht) model dat geen expertsysteem gebruikt maar een vergelijkbaar aantal actieve parameters heeft. Wanneer ze testten hoeveel ruis de modellen konden tolereren voordat ze het vermogen verloren om morele inhoud te herkennen, kwam er een scherp verschil naar voren. Het standaardmodel was opmerkelijk stevig en kon aanzienlijke niveeld digitale interferentie weerstaan terwijl het zijn morele begrip behield. Het OLMoE-model daarentegen stortte bijna onmiddellijk in. Het was meer dan vier keer fragieler dan zijn standaard tegenhanger. Het morele signaal in het expertmodel was zo delicaat dat een klein beetje statische ruis genoeg was om het volledig te overstemmen.

Om te begrijpen waarom dit gebeurde, keken de onderzoekers naar hoe de informatie door het systeem stroomt. In een standaardmodel sturen de verwerkingseenheden een sterk, duidelijk signaal naar de volgende fase van het netwerk. In het expertmodel selecteert het systeem een paar experts, middelt hun outputs en stuurt dat gecombineerde resultaat door. De onderzoekers maten de sterkte van dit gecombineerde signaal en ontdekten dat het drastisch zwakker was dan in het standaardmodel. Het signaal werd verdund en werd bijna twee ordes van grootte kleiner. Een manier om dit te visualiseren is door je een gesprek voor te stellen in een drukke kamer. In het standaardmodel spreekt een persoon met een duidelijke, sterke stem die iedereen hoort. In het expertmodel is het alsof acht mensen dezelfde zin fluisteren, en de kamer hoort slechts het gemiddelde van die fluisteringen. De boodschap is er wel, maar hij is zo zacht dat een lichte bries van ruis het onmogelijk kan maken om het te horen.

Deze bevinding heeft diepgaande implicaties voor hoe we deze systemen begrijpen en controleren. De studie toonde aan dat deze fragiliteit geen resultaat is van het feit dat het model niet goed heeft geleerd over de tijd heen. Door naar de trainingsgeschiedenis van het model te kijken, van de allereerste stappen tot de definitieve vorm, bevestigden de onderzoekers dat de morele informatie vanaf het begin aanwezig was en gedurende het hele proces uniform verdeeld en zwak bleef. Het model heeft nooit gespecialiseerde morele experts ontwikkeld, noch heeft het ooit het signaal versterkt. De fragiliteit is een ingebouwd kenmerk van de architectuur zelf. Omdat het systeem de outputs van een paar geselecteerde experts middelt, is het resulterende signaal inherent klein. Dit kleine signaal wordt gemakkelijk overstemd door ruis, waardoor de morele codering in deze modellen veel minder veilig is dan in traditionele ontwerpen.

De studie concludeert dat de belofte van het mixture-of-experts-ontwerp voor alignment-onderzoek een illusie is. Hoewel de structuur een manier biedt om het netwerk in discrete eenheden te verdelen, creëert het geen geïsoleerde zakken van moreel redeneren die gemakkelijk kunnen worden bewerkt of verwijderd. In plaats daarvan verspreidt het de morele informatie dun over alle eenheden, waardoor het redundant maar ongelooflijk kwetsbaar is. Voor onderzoekers die willen waarborgen dat deze modellen veilig handelen, betekent dit dat het simpelweg kijken naar of een model morele concepten kan identificeren, niet voldoende is. Ze moeten ook meten hoe veilig die informatie wordt vastgehouden. Een model kan aan de oppervlakte perfect ethiek lijken te begrijpen, maar toch zo fragiel zijn dat een kleine verandering in de omgeving of een lichte aanpassing tijdens het finetunen ertoe kan leiden dat het dat begrip volledig verliest. De studie suggereert dat de manier waarop deze modellen zijn gebouwd hun interne signalen fundamenteel verandert, wat een permanente structurele zwakte creëert die training alleen niet kan oplossen.