💬 NLP

Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning

Dieses Paper stellt die Behauptung in Frage, dass große Sprachmodelle abstraktes Wissen vor item-spezifischen Details erlernen, indem es zeigt, dass reine Memorierungsmodelle solche Lernmuster in Abhängigkeit von der Eingangsverteilung nachahmen können, was darauf hindeutet, dass die Unterscheidung zwischen item-spezifischem und abstraktem Wissen für verteilte Repräsentationen unklar definiert sein kann.

Ursprüngliche Autoren: Zachary Nicholas Houghton, Vsevolod Kapatsinski

Veröffentlicht 2026-08-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zachary Nicholas Houghton, Vsevolod Kapatsinski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Sprechen beizubringen. Sie haben zwei große Theorien darüber, wie er lernt. Die erste Theorie, nennen wir sie die „Regelbuch-Theorie“, besagt, dass der Roboter zuerst die großen, abstrakten Regeln der Sprache versteht – wie zum Beispiel, wie alle Verben, die „geben“ bedeuten, zusammenarbeiten – bevor er spezifische Wörter auswendig lernt. Die zweite Theorie, die „Gedächtnisbuch-Theorie“, besagt, dass der Roboter einfach jeden einzelnen Satz, den er hört, einzeln auswendig lernt und erst später Muster bemerkt, indem er seinen massiven Stapel an Erinnerungen vergleicht. Lange Zeit stritten Wissenschaftler darüber, welche von beiden richtig sei. Doch kürzlich untersuchte eine neue Studie riesige KI-Modelle (wie jene, die Aufsätze schreiben oder mit Ihnen chatten) und behauptete, einen Beweis gefunden zu haben, dass die „Regelbuch-Theorie“ korrekt ist. Sie sagten, diese KIs lernen die großen Regeln vor dem Erlernen der spezifischen Eigenheiten einzelner Wörter. Dieses Papier ist jedoch wie ein Detektiv, der dazwischentritt und sagt: „Moment mal. Schauen wir genauer auf die Hinweise.“ Die Autoren führten ihre eigenen Experimente mit einfachen Computersimulationen durch, um zu sehen, ob der Beweis wirklich beweist, dass der Roboter in Regeln denkt, oder ob dies ein Resultat dessen ist, wie der Roboter neuen Informationen Aufmerksamkeit schenkt.

Der große Raubüberfall: Regeln vs. Erinnerungen

In der Welt des Spracherwerbs gibt es ein klassisches Tauziehen. Auf der einen Seite steht die Abstraktion. Das ist so, als würde man das Konzept von „Obst“ lernen. Sobald man weiß, was Obst ist, kann man vermuten, dass eine neue, seltsam aussehende Sache, die man noch nie gesehen hat, wahrscheinlich auch Obst ist, selbst wenn man sie noch nie probiert hat. Auf der anderen Seite stehen Exemplare (oder spezifische Erinnerungen). Das ist so, als würde man sich jede einzelne Apfel, Banane und Orange merken, die man je gegessen hat. Man braucht keine Regel für „Obst“; man vergleicht das neue Ding einfach mit seinem mentalen Stapel aus Äpfeln und Orangen. Wenn es wie ein Apfel aussieht, nennt man es Obst.

Die große Frage lautet: Was kommt zuerst? Lernt man zuerst die allgemeine Regel oder häuft man zuerst spezifische Erinnerungen an?

Kürzlich betrachteten Forscher ein berühmtes KI-Modell (GPT-2) und beobachteten etwas Interessantes. Sie beobachteten, wie die KI über die Zeit lernte. Sie stellten fest, dass die KI begann, ähnliche Verben zusammenzugruppieren (wie „geben“ und „verkaufen“), bevor sie anfing, die winzigen Unterschiede zwischen ihnen zu bemerken (wie etwa, wie „geben“ etwas anders verwendet wird als „verkaufen“). Sie nannten dies „Abstraktions-zuerst“-Lernen (Abstraction-First). Es schien, als würde die KI ein Regelbuch aufbauen, bevor sie ihr Gedächtnisbuch füllte.

Der Plot-Twist: Der „Sensitivitäts“-Schalter

Die Autoren dieses Papers, Zachary Nicholas Houghton und Vsevolod Kapatsinski, beschlossen zu testen, ob dieses „Abstraktions-zuerst“-Muster ein echtes Zeichen für ein Regelbuch ist oder nur ein Nebeneffekt dessen, wie die KI Aufmerksamkeit schenkt.

Um dies zu testen, bauten sie zwei einfache, künstliche Lernende in einer Computersimulation. Dies waren keine hoch entwickelten KIs mit verborgenen Regelbüchern. Sie waren reine Auswendiglernende. Sie hatten keine Möglichkeit, abstrakte Regeln zu erstellen; sie konnten nur das erinnern, was sie sahen.

Der „Null-Sensitivitäts“-Lerner: Stellen Sie sich diesen Lernenden als einen superglatten, ruhigen Roboter vor. Wenn er ein neues Wort sieht, wird er nicht aufgeregt oder nervös. Er vermengt die neue Information langsam und perfekt mit seinem Gedächtnis und ignoriert dabei etwaige einmalige Fehler. Es ist wie ein ruhiger Maler, der Farben auf einer Leinwand verblendet, ohne zu spritzen.
Der „Variable-Sensitivitäts“-Lerner: Dieser Lernende ist etwas unruhig. Er reagiert stark auf jedes einzelne neue Wort, das er sieht. Wenn er früh auf ein seltsames Wort stößt, wird er sehr aufgeregt darüber. Wie unruhig er ist, hängt von einer Einstellung namens k ab (denken Sie an einen „Jitter-Knopf“). Wenn k niedrig ist, ist der Lernende extrem sensibel auf jedes kleine Detail. Wenn k hoch ist, ist der Lernende sehr ruhig und ignoriert die kleinen Details, indem er sie glättet.

Die große Entdeckung

Hier liegt der Zaubertrick, den das Paper offenbart: Die Reihenfolge, in der diese Lernenden „lernen“, hängt allein davon ab, wie unruhig sie sind, und nicht davon, ob sie Regeln besitzen.

Wenn der Lernende unruhig ist (Niedriges k): Gewinnt das „Gedächtnisbuch“. Der Lernende lässt sich von den ersten seltsamen Wörtern ablenken, die er sieht. Er beginnt, die Unterschiede zwischen spezifischen Wörtern (wie „geben“ vs. „verkaufen“) zu bemerken, bevor er die große Gruppe bemerkt, der sie angehören. Dies sieht aus wie „Exemplar-zuerst“-Lernen.
Wenn der Lernende ruhig ist (Hohes k): Gewinnt das „Regelbuch“. Da der Lernende die frühen, verrauschten Details ignoriert und darauf wartet, dass ein Muster entsteht, beginnt er, die Wörter zusammenzugruppieren, bevor er ihre winzigen Unterschiede bemerkt. Dies sieht exakt so aus wie „Abstraktions-zuerst“-Lernen.

Das Paper zeigt, dass selbst diese Lernenden, die keinerlei Fähigkeit zur Erstellung abstrakter Regeln besitzen, immer noch so wirken können, als würden sie zuerst Regeln lernen, wenn sie nur ruhig genug sind (hohes k).

Was das für die KI bedeutet

Die Autoren argumenten, dass die vorherige Studie, die behauptete, KI lerne zuerst Regeln, möglicherweise von diesem Faktor beeinflusst wurde. Sie legen nahe, dass das analysierte KI-Modell (GPT-2) wahrscheinlich einfach wie ein „ruhiger Auswendiglernender“ (ein Lerner mit hohem k) agiert hat. Es hat nicht notwendigerweise ein geheimes Regelbuch aufgebaut; es hat lediglich das Rauschen seiner frühen Trainingsdaten so gut geglättet, dass es den Anschein erweckte, es würde zuerst die großen Muster lernen.

Tatsächlich legt das Paper nahe, dass bei dieser Art von verteilten Systemen die Grenze zwischen dem „Erinnern eines spezifischen Wortes“ und dem „Kennen einer allgemeinen Regel“ verschwimmen kann. Die „Regel“ könnte einfach der Durchschnitt aller Erinnerungen sein, und die „Erinnerung“ könnte einfach ein spezifischer Punkt in diesem Durchschnitt sein. Man kann sie nicht wirklich trennen.

Das Urteil

Verifiziert dieses Paper also, dass KI zuerst Regeln lernt? Nein. Es deutet vielmehr darauf hin, dass der spezifische Test, der verwendet wurde, um dies zu beweisen (das Beobachten der Reihenfolge des Auftretens von Mustern), kein zuverlässiger Test ist. Ein reiner Auswendiglernender kann diesen Test bestehen, indem er einfach nur ruhig genug ist. Das Paper kommt nicht zu dem Schluss, dass das Muster definitiv ein Artefakt ist; es kommt vielmehr zu dem Schluss, dass die Beweise der vorangegangenen Studie nicht ausreichen, um zwischen echtem Abstraktions-zuerst-Lernen und einem Modell mit hoher Sensitivität zu unterscheiden. Die Autoren erklären, dass es eine offene Frage bleibt, ob Transformer-Modelle echte Abstraktions-zuerst-Lerner sind, aber die Beantwortung dieser Frage erfordert neue Methoden, die über das bloße Betrachten der Reihenfolge des Auftretens hinausgehen. Bis dahin bleibt die Debatte „Regelbuch vs. Gedächtnisbuch“ weiterhin weit offen, und die Beweise, die wir zu halten glaubten, könnten ein Resultat der Art und Weise sein, wie die Daten verarbeitet werden.

Technisches Resümee: Exemplare in Verkleidung: Reine Exemplar-Modelle imitieren Abstraktions-orientiertes Lernen

Problemstellung

Eine zentrale Frage des Spracherwerbs und der Kognitionswissenschaft betrifft die zeitliche Abfolge des Wissenserwerbs: Erwerben Lernende zuerst abstrakte, klassenbezogene Generalisierungen (z. B. Verb-Argumentstrukturen) oder akkumulieren sie zuerst artikelspezifische, idiosynkratische Kenntnisse (z. B. spezifische Verb-Token-Kollokationen)? Jüngste Arbeiten von Jian und Manning (2026) analysierten die Lernpfade in GPT-2 und kamen zu dem Schluss, dass abstraktes Wissen vor artikelspezifischem Wissen entsteht („Abstraktion zuerst“). Sie operationalisierten dies durch die Messung des Beginns der Differenzierung zwischen Klassen ( $o_b$ ) gegenüber der Divergenz innerhalb von Klassen ( $o_w$ ) und stellten fest, dass $o_b < o_w$ für bestimmte Verbklassen gilt.

Diese Schlussfolgerung beruht jedoch auf der Annahme, dass diese Abfolge diagnostisch für einen induktiven Bias hin zur Abstraktion ist. Die Autoren dieser Arbeit argumentieren, dass diese Abfolge stattdessen ein Artefakt der Sensitivität des Lernenden gegenüber einzelnen Beobachtungen und den Verteilungseigenschaften des Inputs sein kann, anstatt ein Beleg für einen distinkten abstrakten Lernmechanismus zu sein. Speziell stellen sie in Frage, ob die Unterscheidung zwischen „artikelspezifischem“ und „abstraktem“ Wissen für verteilte Repräsentationen überhaupt gut definiert ist, in denen klassenbezogene Eigenschaften untrennbar in artikelspezifischen Verteilungen eingebettet sein können.

Methodik

Die Autoren führen kontrollierte Simulationen mit zwei idealisierten Lernermodellen durch, die denselben Datengenerierungsprozess teilen, sich aber darin unterscheiden, wie sie Verbverteilungen aus Beobachtungen schätzen. Entscheidend ist, dass beide Modelle reine Auswendiglernende (Exemplar-Modelle) sind, die keinen Informationsfluss zwischen Verben besitzen und keine expliziten klassenbasierten Repräsentationen verwenden.

Datengenerierung:
- Zwei Verbklassen (35 und 36 Items) werden mit einem Vokabular von 1.000 Token simuliert.
- Die wahre Verteilung jedes Verbs ( $P_v$ $P_{v}$ ) wird aus drei Token-Typen konstruiert:
  - Cross-Token: Werden von allen Verben geteilt (Hintergrund).
  - Within-class-Token: Werden nur von Verben derselben Klasse geteilt (kodieren klassenbezogene Präferenzen).
  - Idiosynkratische Token: Sind jedem Verb einzigartig (kodieren artikelspezifische Präferenzen).
- Parameter steuern die Überlappung zwischen Klassen und die Varianz der Token-Gewichte ( $\mu, \sigma$ ).
Lernermodelle:
- Zero-Sensitivity Learner (ZSL): Eine rauschfreie analytische Baseline. Die Schätzung des Lernenden ist eine lineare Interpolation zwischen einer Gleichverteilung und der wahren Verteilung ( $P_v$ ). Er ist unbeeinflusst von der spezifischen Identität einzelner Token und repräsentiert ein Limit, in dem das Rauschen auf Beobachtungsebene entfernt wird.
- Variable-Sensitivity Learner (VSL): Ein Bayesianischer Dirichlet-Multinomial-Lerner, der Add- $k$ $k$ -Smoothing formalisiert. Der Parameter $k$ $k$ steuert die Sensitivität:
  - Niedriges $k$ : Der Lernende ist hochsensibel gegenüber frühen, potenziell nicht repräsentativen Beobachtungen (idiosynkratisches Rauschen dominiert).
  - Hohes $k$ : Der Lernende ist konservativ; der Prior unterdrückt frühes Rauschen, sodass sich klassenbezogene Muster graduell ansammeln können.
Onset-Kriterien:
- Between-class onset ( $o_b$ ): Wird deklariert, wenn die Verteilung eines Verbs signifikant ähnlicher zu Verben derselben Klasse ist als zu Verben der gegenüberliegenden Klasse (Mann-Whitney-U-Test).
- Within-class onset ( $o_w$ ): Wird deklariert, wenn die mittlere Jensen-Shannon-Divergenz (DJS) innerhalb einer Klasse einen festen Schwellenwert (0,01) überschreitet.
- Die Studie verfolgt den Lernpfad, um zu bestimmen, welche Onset zuerst auftritt ( $o_b < o_w$ oder $o_w < o_b$ ).

Zentrale Beiträge

Demonstration der Sensitivitätsabhängigkeit der Abfolge: Die Autoren zeigen, dass die Ordnung von $o_b$ und $o_w$ keine feste Eigenschaft von „Abstraktion-zuerst“- vs. „Exemplar-zuerst“-Lernstrategien ist. Stattdessen hängt sie von der Interaktion zwischen der Sensitivität des Lernenden (gesteuert durch $k$ ) und der Struktur der Input-Verteilung ab.
Rauschfreie Baseline: Die Einführung des Zero-Sensitivity Learners zeigt, dass, wenn das Rauschen auf Beobachtungsebene entfernt wird, $o_b < o_w$ universell gilt, selbst bei einem reinen Auswendiglernenden ohne Abstraktion.
Replikation von „Abstraktion zuerst“ via Smoothing: Der Variable-Sensitivity Learner repliziert die „Exemplar-zuerst“-Abfolge ( $o_w < o_b$ ) bei niedrigem $k$ (hoher Sensitivität), geht aber zu der „Abstraktion-zuerst“-Abfolge ( $o_b < o_w$ ) über, wenn $k$ hoch ist (niedrige Sensitivität). Dies deutet darauf hin, dass das in vorangegangenen Studien beobachtete „Abstraktion-zuerst“-Muster das Ergebnis von hohem Smoothing (niedriger Sensitivität) ist und nicht eines distinkten abstrakten Lernmechanismus.

Ergebnisse

Zero-Sensitivity Learner: Produzierte in 85 % der Seeds insgesamt $o_b < o_w$ . Die Abfolge war universell bei geringem Rauschen ( $\sigma=0,5$ ) und galt für die meisten Parameterkombinationen, außer wenn die Klassensignale im Vergleich zum Rauschen extrem schwach waren.
Variable-Sensitivity Learner:
- Bei niedrigem $k$ ( $k \le 0,1$ ) trat $o_w < o_b$ in ca. 99 % der Seeds auf. Frühe idiosynkratische Beobachtungen verursachten eine sofortige Divergenz innerhalb der Klassen, bevor sich klassenbezogene Muster stabilisieren konnten.
- Bei hohem $k$ ( $k \ge 1,0$ ) dominierte $o_b < o_w$ . Der starke Prior unterdrückte frühes Rauschen, wodurch die systematischen Unterschiede zwischen den Klassen hervortreten konnten, bevor die idiosynkratischen Merkmale innerhalb der Klassen einen absoluten Schwellenwert erreichten.
- Der Übergangspunkt lag um $k=0,5$ , wo beide Abfolgen gleichermaßen wahrscheinlich waren.
Robustheit: Die Ergebnisse waren robust gegenüber Variationen in der Vokabulargröße, der Frequenzverteilung der Verben (Zipf’sche Erweiterung) und den spezifischen Schwellenwerten für die Onset-Detektion.

Bedeutung und Behauptungen

Das Paper behauptet, dass die „Abstraktion-zuerst“-Abfolge ( $o_b < o_w$ ) nicht diagnostisch für eine Abstraktion-zuerst Lernstrategie ist. Stattdessen ist sie eine vorhersehbare Konsequenz einer geringen Sensitivität gegenüber einzelnen Beobachtungen.

Reinterpretation von LLM-Trajektorien: Die Ergebnisse legen nahe, dass die Resultate von Jian und Manning (2026) nicht beweisen, dass GPT-2 zuerst abstrakte Regeln lernt. Ein reiner Exemplar-Memorizer mit ausreichendem Smoothing (hohes $k$ ) erzeugt dieselbe scheinbare Abfolge. Die Autoren merken an, dass Transformer aufgrund von adaptivem Partial Pooling natürlich wie High- $k$ -Lerner agieren können, was idiosynkratisches Rauschen unterdrückt, aber dieser Mechanismus impliziert nicht notwendigerweise die Existenz diskreter, separierbarer abstrakter Repräsentationen.
Schlecht definierte Dichotomie: Die Autoren argumentieren, dass für verteilte Repräsentationen die Unterscheidung zwischen artikelspezifischem und abstraktem Wissen schlecht definiert sein kann. Klassenbezogene Eigenschaften sind in die artikelspezifische Verteilung eingebettet; das Lernen der Verteilung eines spezifischen Verbs kodiert inhärent dessen Klassenzugehörigkeit. Daher kann die Behandlung von Divergenz zwischen Klassen und Divergenz innerhalb von Klassen als separierbare Lernevents eine konzeptionelle Unterscheidung aufzwingen, die die Repräsentationen selbst nicht unterstützen.
Methodische Limitation: Die aktuelle Methodik der Ordnung von Onset-Kriterien reicht nicht aus, um zwischen „Abstraktion-zuerst“-Lernen und „High- $k$ -Exemplar“-Lernen zu unterscheiden. Um zu beantworten, ob Transformer wirklich Abstraktion-zuerst-Lerner sind, sind Methoden erforderlich, die über die bloße Ordnung von Onset-Kriterien hinausgehen.