One of the Above, None of the Above: Why the Same Model Should Not Predict Both
Dieses Paper argumentiert, dass die Vorhersage von Neuheit eine explizite Trennung von Kategorienabsorption und Kategorienöffnung innerhalb eines gut spezifizierten Kontextes erfordert, was zeigt, dass ein einfaches kombinatorisches Nullmodell oft komplexere Rich-get-Richer-Modelle wie den Pitman-Yor-Prozess übertrifft, wenn die Aufgabenstruktur angemessen berücksichtigt wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jeden Tag ist unser Geist damit beschäftigt, die Welt in Gruppen einzuteilen. Wenn Sie ein neues Wort hören, ein fremdes Tier sehen oder ein neues Autotyp bemerken, muss Ihr Gehirn entscheiden: Ist dies etwas, das ich schon einmal gesehen habe, oder ist es etwas völlig Neues? Diese blitzschnelle Entscheidung ist der Unterschied zwischen dem Erkennen eines bekannten Gesichts und dem Entdecken eines Fremden. Jahrzehntelang haben Wissenschaftler, die untersuchen, wie wir lernen und kategorisieren, diese Entscheidung oft als einen einzigen Münzwurf behandelt. Sie nahmen an, dass ein Objekt automatisch eine neue Gruppe startet, wenn es nicht in eine bestehende Gruppe passt, und dass die Mathematik, die beschreibt, wie wir an alten Gruppen festhalten, dieselbe Mathematik ist, die beschreibt, wie wir neue Gruppen eröffnen.
Eine neue Studie legt jedoch nahe, dass diese einfache Sichtweise falsch sein könnte. Die Forschung, die von Lukasz Konowalek an der Medizinischen Universität Warschau durchgeführt wurde, argumenttiert, dass das Gehirn wahrscheinlich zwei verschiedene Strategien für diese beiden Aufgaben verwendet. Eine Strategie dient dazu, zu erkennen, was man bereits kennt, und eine andere dazu, zu entscheiden, wann man eine neue Kategorie erstellt. Die Studie zeigt, dass der Versuch, ein einziges Modell zu verwenden, um beide Verhaltensweisen zu erklären, zu Fehlern führt, und dass der Kontext, in dem wir lernen – ob wir uns eine geschlossene Menge an Optionen oder einen offenen, endlosen Strom von Möglichkeiten ansehen – die Regeln des Spiels völlig verändert.
Um das Experiment zu verstehen, stellen Sie sich einen Informationsstrom vor, wie ein Gespräch, ein Video oder eine Liste von Wörtern. Während Sie sich durch diesen Strom bewegen, fragen Sie sich ständig, ob das nächste Element eine Wiederholung von etwas ist, das Sie gerade gesehen haben, oder eine frische Entdeckung. Die Forscher untersuchten fünf verschiedene Arten von realen Daten, um dies zu testen. Sie betrachteten, wie Menschen Wörter in Dokumenten verwenden, wie sie sich in Geschichten auf Personen und Objekte beziehen, wie Menschen in Gesprächen sprechen und wie Videoredakteure Szenenwechsel markieren. In einigen dieser Ströme ist die Liste der möglichen Elemente fest und klein, wie die begrenzte Menge an Dialog-Tags, die in einer bestimmten Software verwendet werden. In anderen ist die Liste offen und potenziell unendlich, wie die endlose Vielfalt an Wörtern oder Namen, denen wir begegnen könnten.
Die Forscher entwickelten Computermodelle, um vorherzusagen, was als Nächstes in diesen Strömen passieren würde. Sie testeten zwei Hauptansätze. Der erste Ansatz, den sie ein „kombinatorisches“ Modell nennen, ist eine einfache Zähnmethode. Er betrachtet nur, wie viele verschiedene Elemente bisher aufgetreten sind und wie viele Elemente es insgesamt gibt, wobei die Häufigkeit spezifischer Wiederholungen ignoriert wird. Er stellt eine grundlegende Frage: Gegeben die Anzahl der Dinge, die ich gesehen habe, wie viele Möglichkeiten gibt es, sie zu organisieren? Der zweite Ansatz ist ein „Rich-get-Richer“-Modell (Wer hat, dem wird gegeben). Dieses Modell geht davon aus, dass ein Element wahrscheinlicher erneut auftritt, wenn es schon oft aufgetreten ist. Es schreibt populären Elementen ein höheres Gewicht zu, unter der Annahme, dass Popularität mehr Popularität erzeugt.
Die Studie fand heraus, dass die Antwort darauf, welches Modell am besten funktioniert, ganz davon abhängt, was der Computer vorherzusagen versucht. Wenn die Aufgabe darin besteht, vorherzusagen, ob ein Element eine Wiederholung von etwas bereits Gesehenem ist (Absorption), funktioniert das einfache Zählmodell in offenen, unendlichen Strömen am besten. Aber wenn die Aufgabe darin besteht, vorherzusagen, ob ein Element eine brandneue Entdeckung ist (Opening/Eröffnung), ist das „Rich-get-Richer“-Modell oft besser. Überraschenderweise kehrt sich dieses Muster um, wenn der Strom eine kleine, feste Liste von Optionen hat. In jenen geschlossenen Systemen ist das „Rich-get-Richer“-Modell besser darin, Wiederholungen zu erkennen, während das einfache Zählmodell besser darin ist, neue Elemente zu entdecken.
Dieses „gekreuzte“ Muster ist die zentrale Entdeckung. Es bedeutet, dass keine einzelne mathematische Regel perfekt erklären kann, sowohl das Erkennen des Vertrauten als auch das Entdecken des Neuen. Dasselbe Modell, das exzellent darin ist, vorherzusagen, dass ein Wort wiederholt wird, ist oft schlecht darin, vorherzusagen, dass ein neues Wort erscheinen wird, und umgekehrt. Die Forscher testeten diese Idee auch in einem kontrollierten Experiment, bei dem Menschen gebeten wurden, Gegenstände zu kategorisieren, wobei sie feststellten, dass ein Modell, das einfach prüfte, ob die Aufgabe eine „neue“ Antwort zuließ, komplexere Modelle übertraf, die versuchten, basierend auf der vergangenen Häufigkeit zu raten.
Die Ergebnisse legen nahe, dass unser Geist Neuheit nicht als ein einfaches Überbleibsel der Erkennung behandelt. Stattdessen nutzt das Gehirn wahrscheinlich zwei getrennte Prozesse. Ein Prozess ist darauf abgestimmt, die Struktur der aktuellen Situation zu prüfen – also zu schauen, ob ein Element in das bestehende Muster passt. Der andere Prozess ist auf die Möglichkeit des Unbekannten abgestimmt und entscheidet, wann das aktuelle Muster nicht mehr ausreicht und eine neue Kategorie eröffnet werden muss. Diese Unterscheidung ist entscheidend, da sie ändert, wie wir künstliche Intelligenz bauen sollten und wie wir menschliches Lernen verstehen. Wenn wir wollen, dass Maschinen wie Menschen lernen, dürfen sie nicht nur gut darin sein, Muster zu erkennen; sie müssen auch über einen separaten Mechanismus verfügen, um zu wissen, wann sie das Muster brechen und etwas Neues beginnen müssen. Die Studie kommt zu dem Schluss, dass der Kontext der Aufgabe – ob die Welt geschlossen und endlich oder offen und endlos ist – bestimmt, welches dieser beiden mentalen Werkzeuge wir in einem gegebenen Moment verwenden sollten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.