From Word Sequences to Behavioral Sequences: Adapting Modeling and Evaluation Paradigms for Longitudinal NLP
Dieses Paper schlägt ein Paradigma der Längsschnittmodellierung und -evaluierung für das NLP vor, welches Dokumente als zeitlich geordnete Verhaltenssequenzen anstatt als unabhängige Stichproben behandelt, wobei durch eine PTSD-Tagebuchstudie demonstriert wird, dass dieser Ansatz ökologisch valide Erkenntnisse liefert, die von traditionellen Methoden auf Dokumentebene oft übersehen oder umgekehrt dargestellt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu lernen, wie man das Wetter vorhersagt.
Der alte Weg (Traditionelles NLP)
Die meisten Computerprogramme, die Sprache analysieren (NLP), behandeln jeden Satz oder jeden Tagebucheintrag wie einen separaten, isolierten Wetterbericht. Sie könnten zum Beispiel 1.000 zufällige Berichte von 1.000 verschiedenen Tagen nehmen, sie durchmischen und sagen: „Okay, das sind unsere Trainingsdaten, und das sind unsere Testdaten.“
Das Papier argumentiert, dass dies so ist, als würde man versuchen, etwas über das Wetter zu lernen, indem man sich eine einzelne Momentaufnahme einer Wolke ansieht und sich dann an einer völlig anderen Momentaufnahme aus einem komplett anderen Sturmsystem selbst testet, ohne jemals zu realisieren, dass sie zum selben Sturmsystem gehörten. Es wird davon ausgegangen, dass jedes Textstück unabhängig ist, wie ein Münzwurf.
Der neue Weg (Longitudinales NLP)
Die Autoren sagen: „Warten Sie mal. Diese Wörter wurden von Menschen geschrieben, und Menschen verändern sich im Laufe der Zeit. Der Text einer Person am Montag ist mit ihrem Text am Dienstag verbunden, und ihr Schreibstil ist einzigartig für sie, nicht nur zufälliges Rauschen.“
Sie schlagen vor, Sprache nicht als einen Haufen zufälliger Wörter zu betrachten, sondern als einen Film aus dem Leben eines Menschen, bei dem jedes Einzelbild (Tagebucheintrag) von dem vorherigen abhängt.
Hier ist die Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:
1. Das „Leckende Eimer“-Problem (Evaluations-Splits)
Auf dem alten Weg, wenn man einen Computer mit 70 % der Tagebucheinträge einer Person trainiert und ihn mit den anderen 30 % testet, betrügt der Computer. Es ist, als würde man einem Schüler eine Übungsprüfung geben, die die Antworten auf die echte Prüfung enthält, weil er die Notizen derselben Person studiert.
- Die Lösung des Papiers: Sie schlagen zwei neue Wege vor, um den Computer zu testen:
- Der „Fremden“-Test (Querschnittlich): Trainiere mit Person A, B und C. Teste mit Person D (jemandem, den der Computer noch nie gesehen hat). Kann er die Gefühle von Person D allein durch das Lesen ihrer Worte erraten?
- Der „Zukunfts“-Test (Prospektiv): Trainiere mit dem ersten Monat von Person A. Teste mit dem nächsten Monat von Person A. Kann er vorhersagen, was als Nächstes passiert?
Das schockierende Ergebnis: Wenn sie die alte Methode des „zufälligen Durchmischens“ verwendeten, wirkte der Computer wie ein Genie. Aber als sie die „Fremden“- und „Zukunfts“-Tests verwendeten, versagte der Computer oft kläglich. In einigen Fällen ließ die alte Methode den Computer besser aussehen als einen einfachen Schätzwert, während die neue Methode zeigte, dass er tatsächlich schlechter als ein einfacher Schätzwert war. Die alte Methode hat darüber gelogen, wie klug der Computer wirklich war.
2. Das „Durchschnitt vs. Fluss“-Problem (Metriken)
Das Papier sagt, dass Standardwerte (wie „Durchschnittliche Genauigkeit“) so sind, als würde man einen Film bewerten, indem man nur die durchschnittliche Helligkeit jedes einzelnen Bildes betrachtet. Man verpasst die Geschichte.
- Zwischen-Person-Score: Hat der Computer gelernt, dass Person A im Allgemeinen mürrisch und Person B im Allgemeinen glücklich ist? (Das ist einfach; er merkt sich einfach, wer wer ist).
- Innerhalb-Person-Score: Hat der Computer gelernt, dass Person A am Dienstag mürrischer war als am Montag? (Das ist schwer; es erfordert das Verständnis des Flusses der Zeit).
Das schockierende Ergebnis: Der Computer war groß darin, sich zu merken, wer mürrisch war (Zwischen-Person), aber schrecklich darin, vorherzusagen, wann sie mürrisch werden würden (Innerhalb-Person). Der alte „Durchschnittswert“ verbarg dieses Versagen und ließ es so aussehen, als hätte der Computer das ganze Bild verstanden, obwohl er nur die statischen Teile verstand.
3. Das „Gedächtnis“-Problem (Modellierung)
Wenn man das Wetter vorhersagen will, reicht es nicht aus, den Himmel jetzt gerade zu betrachten; man muss wissen, ob es in der letzten Stunde geregnet hat.
- Der alte Weg: Der Computer betrachtet einen Tagebucheintrag isoliert, wie ein einzelnes Foto.
- Der neue Weg: Der Computer betrachtet die letzten 30 Tage der Einträge als eine Sequenz, wie ein Video.
Das schockierende Ergebnis: Als der Computer erlaubt wurde, „das Video anzusehen“ (die Historie zu betrachten), wurde er viel besser darin, die Zukunft vorherzusagen, insbesondere bei Menschen, die er zuvor noch nie gesehen hatte. Die Art des Gedächtnisses, das er benötigte, hing jedoch vom Test ab:
- Um eine neue Person vorherzusagen, brauchte er eine „Zusammenfassung“ ihrer Vergangenheit (eine grobe, regularisierte Sicht).
- Um die Zukunft für dieselbe Person vorherzusagen, musste er die detaillierten Interaktionen und Veränderungen im Zeitverlauf sehen (eine komplexe, interaktive Sicht).
Das große Fazit
Das Papier kommt zu dem Schluss, dass wir aufhören müssen, Sprache nur als eine Folge von Wörtern zu betrachten, und anfangen müssen, sie als eine Folge menschlicher Verhaltensweisen zu behandeln.
Wenn Sie eine KI bauen wollen, die in der realen Welt funktioniert (wo sie auf neue Menschen trifft und zukünftige Ereignisse vorhersagt), können Sie die Daten nicht einfach zufällig durchmischen. Sie müssen:
- Sie an neuen Menschen und zukünftigen Zeiten testen, nicht nur an zufällig durchmischten Stücken.
- Zwei Scores angeben: Einen für „Wer ist diese Person?“ und einen für „Was passiert gerade mit ihr?“.
- Dem Computer ein Gedächtnis geben, damit er die Geschichte sehen kann und nicht nur die Momentaufnahme.
Dadurch hören wir auf, Modelle zu bauen, die gut darin sind, eine Prüfung abzulegen, und beginnen, Modelle zu bauen, die tatsächlich menschliches Verhalten verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.