What Makes Two Language Models Think Alike?
Dit artikel introduceert een nieuwe methode voor het mappen van neurale activiteit naar interpreteerbare linguïstische kenmerken om te onthullen dat overeenkomsten tussen 43 diverse taalmodellen primair worden gedreven door hun releasedatum en modelfamilie in plaats door schaal of architecturale klasse.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kamer vol verschillende chefs hebt. Sommigen zijn opgeleid in de Franse keuken, anderen in de Japanse, en anderen zijn autodidact. Ze hebben allemaal dezelfde baan: voorspellen wat het volgende ingrediënt is in een recept.
De grote vraag die de onderzoekers stelden is: Denken deze chefs eigenlijk op dezelfde manier over ingrediënten?
Bijvoorbeeld, wanneer een chef een zin ziet als "De kat jaagde op de muis", focussen ze zich dan op het feit dat het een verhaal is over dieren (syntaxis), of focussen ze zich alleen op de specifieke woorden "kat" en "muis" (vocabulaire)?
De Oude Manier: Het Meten van de "Vorm"
Voorheen probeerden wetenschappers deze chefs (AI-modellen) te vergelijken door te kijken naar de "vorm" van hun interne gedachten. Stel je voor dat je een foto maakt van hoe elke chef zijn ingrediënten op een aanrecht arrangeert. Als de foto's geometrisch gezien vergelijkbaar zijn, namen de wetenschappers aan dat de chefs op dezelfde manier dachten.
Maar dit had een probleem: het was een black box. Het kon je wel vertellen dat twee chefs hun ingrediënten vergelijkbaar arrangeerden, maar het kon je niet vertellen waarom. Misschien groepeerden ze beiden zaken op kleur, of misschien groepeerden ze zaken op gewicht. De oude methode kon het "waarom" niet verklaren.
De Nieuwe Manier: De "Linguïstische Handtekening"
Dit paper introduceert een nieuwe, eenvoudigere manier om in de geest van de chefs te kijken. In plaats van alleen naar de vorm van de ordening te kijken, vragen ze: "Hoe belangrijk is elke specifieke regel voor deze chef?"
Ze creëerden een hulpmiddel genaamd een Metric-Learning Encoding Model (MLEM). Denk aan dit als een vertaler die de rommelige, complexe interne gedachten van de chef omzet in een simpel rapportcijfer van Linguïstische Kenmerken.
Dit rapportcijfer bevat zaken als:
- Tijd (Tense): Gaat de zin over het verleden of de toekomst?
- Onderwerp: Gaat de zin over één persoon of over velen?
- Zinstructuur: Is het een simpele zin of een complexe zin met een "bijzin" (zoals "De man die een hoed draagt...")?
Het hulpmiddel meet hoeveel de interne gedachten van de chef veranderen wanneer deze regels veranderen. Als de gedachten van de chef wild springen wanneer je overschakelt van de verleden tijd naar de toekomstige tijd, dan heeft dat kenmerk een hoge score op hun rapportcijfer. Dit rapportcijfer wordt een "Linguïstische Handtekening" genoemd.
Het Experiment: 43 Chefs, 10 Families
De onderzoekers testten 43 verschillende AI-modellen (de "chefs"). Deze modellen kwamen uit verschillende "families" (zoals de Llama-familie, de GPT-familie, of de Mamba-familie) en hadden verschillende groottes (van klein tot enorm) en verschillende architecturen (verschillende manieren om het brein te bouwen).
Ze vergeleken de Linguïstische Handtekeningen van elk model met die van elk ander model.
De Grote Ontdekking: Het Gaat Om "Familie" en "Era", Niet Om Grootte
De resultaten waren verrassend. De onderzoekers ontdekten dat wat twee modellen hetzelfde laat denken, niet hoe groot ze zijn, maar wie hun ouders zijn en wanneer ze zijn geboren.
- Familie Doet Er Het Meest Toe: Modellen uit dezelfde familie (bijv. alle "Llama"-modellen) hadden zeer vergelijkbare handtekeningen, zelfs als de een klein en de ander enorm was. Ze werden opgevoed met dezelfde "trainingsrecepten" en architecturale blauwdrukken, waardoor ze leerden om dezelfde linguïstische regels prioriteit te geven.
- Releasedatum Doet Er Toe: De datum waarop een model werd uitgebracht, was de sterkste voorspeller van gelijkenis. Dit is alsof je zegt: "Chefs die in 2024 zijn opgeleid, denken meer op elkaar als de chefs uit 2020." Dit komt omdat de hele industrie tegelijkertijd haar technieken verandert (nieuwere activatiefuncties, betere trainingsdata, etc.).
- Grootte Bepaalt Niet de Stijl: Het simpelweg groter maken van een model (het toevoegen van meer parameters) zorgde er niet voor dat het plotseling begon te denken als een heel ander type model. Een klein model en een gigantisch model uit dezelfde familie deelden nog steeds dezelfde "linguïstische prioriteiten".
De "Loop" van het Denken
De onderzoekers keken ook hoe deze handtekeningen veranderden terwijl de informatie door de lagen van het model bewoog (zoals een boodschap die door een estafette gaat).
Ze ontdekten dat modellen uit dezelfde familie hetzelfde pad volgden. Ze begonnen met een bepaalde focus, bereikten een piek van complexiteit in de middelste lagen, en keerden aan het einde terug naar een simpelere focus. Het is als een lus. Dit suggereert dat, hoewel de modellen verschillend van grootte zijn, ze allemaal de taalopdracht oplossen met dezelfde "danspassen".
De Conclusie
Kortom, dit paper betoogt dat we niet alleen moeten kijken naar hoe "groot" of "complex" een AI is om te begrijpen hoe deze denkt. In plaats daarvan moeten we kijken naar de Linguïstische Handtekening — een profiel van welke regels het belangrijk vindt.
De studie laat zien dat architectuur en schaal minder belangrijk zijn dan de "familie" en de "generatie" van het model. Twee modellen kunnen verschillend gebouwd zijn en verschillende groottes hebben, maar als ze uit dezelfde familie en era komen, zullen ze waarschijnlijk dezelfde linguïstische kenmerken prioriteit geven, waardoor ze "gelijk denken".
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.