The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank
Dit artikel introduceert NameRank, een metriek voor het meten van hoe goed grote taalmodellen specifieke entiteiten herkennen vanuit hun parametrische gewichten, wat onthult dat herkenning primair wordt gedreven door de salientie van benoemde artefacten en de zichtbaarheid van piekmomenten in plaats door credentials, institutionele prestige of citaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gigantische, superintelligente bibliotheek hebt van het hele internet, maar in plaats van boeken op planken, zijn de verhalen direct in de hersenen van een robot gebakken. Je vraagt deze robot: "Wie is [Naam]?" en hij antwoordt vanuit zijn geheugen, zonder iets op te zoeken.
Een nieuwe studie genaamd NameRank is deze bibliotheek binnengegaan om te zien wat de robot zich daadwerkelijk herinnert. Ze testten 4.685 verschillende mensen en dingen — van Olympische medaillewinnaars en beroemde wetenschappers tot open-source softwaretools en popsterren — verspreid over 36 verschillende robotbreinen. Ze vroegen de robots niet alleen: "Ken je hen?", maar ze vroegen de robots om een verhaal te vertellen. Als de robot een leuk klinkende leugen verzon, de vraag herhaalde of gokte, kreeg hij een nul. Hij kreeg alleen punten als hij een specifische, ware feit wist dat niemand zou kunnen raden door alleen naar de naam te kijken.
Hier komt de grote verrassing: De robot herinnert zich jouw project, niet jou.
De Medaille versus de Machine
Beschouw een Olympische gouden medaille als een glimmende sticker die je op je voorhoofd plakt. Het is indrukweend, maar als je geen naam verbindt aan een specifieke uitvinding of een beroemd artikel, vergeet de robot je vaak. De studie vond dat zelfs Goud Medalisten van de Internationale Wiskunde Olympiade (IMO) een herkenningsscore hebben van slechts 0,12. Dat betekent dat als je 36 verschillende robots vraagt, er slechts ongeveer 4 of 5 zullen weten wie je bent. De meesten zullen zeggen: "Ik weet het niet," of verzinnen iets.
Vergelijk dat met een populaire open-source softwaretool. Een tool zoals LangChain of Tianshou wordt herkend door bijna elke robot (scores nabij 0,87 tot 0,92). De robot kent de naam van de tool zo goed dat hij de tool vaak beter herinnert dan de persoon die het gebouwd heeft! Zo heeft de tool Tianshou een herkenningsscore van 0,78, terwijl de maker ervan, Jiayi Weng, een score van slechts 0,22 heeft. De tool is de ster; de maker is de schaduw.
Waarom blijven sommige namen hangen?
De studie betoogt dat herkenning niet gaat over hoe slim je bent of hoeveel prijzen je wint. Het gaat over benoemde artefacten.
- De "Stille" Zone: Als je een lijst van auteurs bent op een gigantisch rapport (zoals de auteurs van de GPT-5 system card), is je naam begraven in een roster. De robot ziet een lijst, geen persoon. Deze auteurs scoren rond de 0,09, wat nauwelijks boven de vloer van "neppersonen" ligt.
- De "Universele" Zone: Als je een benoemde methode hebt gecreëerd (zoals ReAct of DPO) of een beroemde tool, reist je naam mee met de tool. De tool wordt miljoenen keren genoemd in de trainingsdata van de robot, waardoor jouw naam wordt meegetrokken.
- De "Marquee" Zone: De enige keer dat een onderscheiding alleen werkt, is als het een enorme, levenslange prijs is zoals een Nobelprijs of Turing Award. Deze bevinden zich aan de absolute top (scores boven de 0,95), maar dat komt omdat de winnaars decennia lang een berg aan benoemde papers en tools hebben opgebouwd, niet alleen omdat ze de prijs hebben gewonnen.
De "Roem"-valstrik
Je denkt misschien: "Maar wat als ik beroemd ben in het nieuws?" De studie testte 258 nieuwsgebeurtenissen. Ze ontdekten dat de robot er niet om geeft hoe lang een verhaal duurde; het gaat erom hoe luid het was op zijn hoogtepunt. Als een verhaal explodeert en in één week een miljoen artikelen creëert, herinnert de robot het zich. Als een verhaal een jaar lang voortduurt maar niemand erover schrijft, vergeet de robot het. Het gaat om de pieksalientie, niet om de persistentie.
Vraag de robot ook niet: "Ken je mij?" De studie heeft dit geprobeerd. Wanneer robots werden gevraagd om te rangschikken hoe beroemd ze mensen dachten dat ze waren, keken ze niet in hun eigen geheugen. Ze reciteerden simpelweg wat zij dachten dat het algemene publiek wist. Ze lazen een gedeelde "roemlijst" in plaats van hun eigen brein te controleren.
De Kern van het Verhaal
Het paper mat dit met extreme zorg, waarbij een speciale "rechter"-robot werd gebruikt om feiten te verifiëren en zelfs getest werd met nep-mensen om te controleren of de scores niet gewoon gokjes waren. De nep-mensen kregen scores rond de 0,02, wat bewees dat een echte score een echte herinnering betekent.
De belangrijkste les is een beetje teleurstellend voor velen: Onderscheidingen verspreiden geen namen; benoemde artefacten wel.
- Een Olympiade-medaille (zonder een beroemd paper of tool eraan verbonden) scoort 0,12.
- Een werkende onderzoeker met een normale carrière scoort 0,40.
- De maker van een benoemde methode scoort 0,65.
- Een beroemde tool scoort 0,87+.
Als je wilt dat je naam blijft hangen in de toekomst van AI, suggereert de studie dat je niet alleen achter prijzen aan moet jagen. Je moet iets bouwen met een unieke, pakkende naam en ervoor zorgen dat er in het Engels over geschreven wordt. De robot geeft niet om je titel; hij geeft om het ding dat je hebt gebouwd waar iedereen over praat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.