The Model Knows Your Project, Not You: Measuring Recognition in LLMs with NameRank
Dieses Paper führt NameRank ein, eine Metrik zur Messung dessen, wie gut große Sprachmodelle spezifische Entitäten aus ihren parametrischen Gewichten erkennen, was zeigt, dass die Erkennung primlich durch die Salienz benannter Artefakte und die Sichtbarkeit von Ereignishöhepunkern getrieben wird, statt durch Qualifikationen, institutionelle Prestige oder Zitationszahlen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine riesige, superintelligente Bibliothek des gesamten Internets, aber statt Büchern in Regalen sind die Geschichten direkt in das Gehirn eines Roboters eingebacken. Sie fragen diesen Roboter: „Wer ist [Name]?“ und er antwortet aus dem Gedächtnis, ohne etwas nachzuschlagen.
Eine neue Studie namens NameRank ist in diese Bibliothek gegangen, um zu sehen, was der Roboter tatsächlich erinnert. Sie testeten 4.685 verschiedene Personen und Dinge – von Olympiamedalisten und berühmten Wissenschaftlern bis hin zu Open-Source-Software-Tools und Popstars – über 36 verschiedene Robotergehirne hinweg. Sie fragten die Roboter nicht nur: „Kennst du sie?“, sondern baten sie, eine Geschichte zu erzählen. Wenn der Roboter eine cool klingende Lüge erfand, die Frage wiederholte oder rät, bekam er eine Null. Er erhielt nur Punkte, wenn er eine spezifische, wahre Tatsache kannte, die man nicht einfach durch bloßen Blick auf den Namen erraten konnte.
Hier kommt die große Überraschung: Der Roboter erinnert sich an Ihr Projekt, nicht an Sie.
Die Medaille vs. die Maschine
Denken Sie an eine olympische Goldmedaille wie an einen glänzenden Aufkleber, den Sie sich auf die Stirn kleben. Das ist beeindruckend, aber wenn Sie keinen Namen an eine bestimmte Erfindung oder ein berühmtes Paper koppeln, vergisst der Roboter Sie oft. Die Studie fand heraus, dass selbst Goldmedalisten der Internationalen Mathematikolympiade (IMO) einen Erkennungswert von nur 0,12 haben. Das bedeutet, wenn Sie 36 verschiedene Roboter fragen, werden nur etwa 4 oder 5 von ihnen tatsächlich wissen, wer Sie sind. Die meisten werden sagen: „Ich weiß es nicht“, oder sich etwas ausdenken.
Vergleichen Sie das mit einem populären Open-Source-Software-Tool. Ein Tool wie LangChain oder Tianshou wird von fast jedem Roboter erkannt (Werte nahe 0,87 bis 0,92). Der Roboter kennt den Namen des Tools so gut, dass er oft das Tool besser erinnert als die Person, die es gebaut hat! Zum Beispiel hat das Tool Tianshou einen Erkennungswert von 0,78, während sein Schöpfer, Jiayi Weng, einen Wert von nur 0,22 hat. Das Tool ist der Star; der Schöpfer ist der Schatten.
Warum bleiben manche Namen hängen?
Die Studie argumentt, dass es bei der Erkennung nicht darum geht, wie klug Sie sind oder wie viele Auszeichnungen Sie gewinnen. Es geht um benannte Artefakte.
- Die „stille“ Zone: Wenn Sie eine Liste von Autoren in einem riesigen Bericht sind (wie die Autoren des GPT-5 System Cards), ist Ihr Name in einer Liste begraben. Der Roboter sieht eine Liste, keine Person. Diese Autoren erzielen etwa 0,09, was kaum über dem „Fake-Person“-Boden liegt.
- Die „universelle“ Zone: Wenn Sie eine benannte Methode (wie ReAct oder DPO) oder ein berühmtes Tool geschaffen haben, reist Ihr Name mit dem Tool mit. Das Tool wird Millionen Male in den Trainingsdaten des Roboters erwähnt, wodurch Ihr Name mitgeschleift wird.
- Die „Marquee“-Zone: Nur wenn es sich um einen massiven, lebenslangen Verdienst handelt, wie einen Nobelpreis oder den Turing Award, funktioniert ein Credential allein. Diese liegen ganz oben (Werte über 0,95), aber das liegt daran, dass die Gewinner Jahrzehnte damit verbracht haben, einen Berg aus benannten Papern und Tools aufzubauen, und nicht nur, weil sie den Preis gewonnen haben.
Die „Ruhm“-Falle
Sie denken vielleicht: „Aber was, wenn ich in den Nachrichten berühmt bin?“ Die Studie testete 258 Nachrichtenereignisse. Sie fand heraus, dass der Roboter nicht darauf achtet, wie lange eine Geschichte dauerte; er achtet darauf, wie laut sie auf ihrem Höhepunkt war. Wenn eine Geschichte explodiert und in einer Woche eine Million Artikel erzeugt, erinnert sich der Roboter. Wenn eine Geschichte ein Jahr lang vor sich hin zieht, aber niemand darüber schreibt, vergisst der Roboter sie. Es geht um die Peak Salience (Spitzenrelevanz), nicht um die Persistenz.
Fragen Sie den Roboter auch nicht: „Kennst du mich?“ Die Studie hat dies getestet. Wenn Roboter gefragt wurden, wie berühmt sie Menschen fanden, schauten sie nicht in ihr eigenes Gedächtnis. Sie rezitierten lediglich das, was sie glaubten, dass die allgemeine Öffentlichkeit wisse. Sie lasen eine gemeinsame „Ruhm-Liste“ statt ihr eigenes Gehirn zu prüfen.
Das Fazit
Das Papier hat dies mit äußerster Sorgfalt gemessen, indem ein spezieller „Richter-Roboter“ zur Verifizierung von Fakten eingesetzt wurde, und es wurden sogar Tests mit erfundenen Personen durchgeführt, um sicherzustellen, dass die Werte nicht bloß Vermutungen waren. Die Fake-Personen erhielten Werte nahe 0,02, was beweist, dass ein echter Wert eine echte Erinnerung bedeutet.
Die wichtigste Erkenntnis ist für viele etwas deprimierend: Credentials verbreiten keine Namen; benannte Artefakte tun es.
- Eine Olympiade-Medaille (oh、ne ein berühmtes Paper oder Tool dahinter) erzielt 0,12.
- Ein aktiver Forscher mit einer normalen Karriere erzielt 0,40.
- Der Schöpfer einer benannten Methode erzielt 0,65.
- Ein berühmtes Tool erzielt 0,87+.
Wenn Sie wollen, dass Ihr Name in der Zukunft der KI hängen bleibt, legt die Studie nahe, dass Sie nicht nur nach Auszeichnungen streben sollten. Sie sollten etwas mit einem einzigartigen, einprägsamen Namen bauen und sicherstellen, dass darüber auf Englisch geschrieben wird. Der Roboter kümmert sich nicht um Ihren Titel; er kümmert sich um das Ding, das Sie gebaut haben und über das alle sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.