Learning From How Humans Correct
Dieses Paper schlägt eine neuartige „Learn-on-Correction“-Methode vor, die menschliches Korrekturfeedback nutzt, um verrauschte Daten neu zu labeln und Deep-Learning-Modelle zu verbessern, wobei eine Steigerung der Testgenauigkeit von 91,7 % auf 92,5 % auf einem industriellen Textklassifizierungsdatensatz erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, Ihre Gedanken zu lesen, aber anstatt eines Gehirns füttern Sie ihn mit einer riesigen Bibliothek voller Texte. Dies ist die Welt des Natural Language Processing (NLP), in der Computer versuchen, die menschliche Sprache zu verstehen. Lange Zeit war das Geheimrezept, um diese Roboter klug zu machen, „Deep Learning“ – eine Methode, bei der der Computer durch das Betrachten von Millionen von Beispielen lernt, ähnlich wie ein Kind lernt, eine Katze zu erkennen, indem es tausende Bilder von Katzen sieht. Vor kurzem tauchte ein Superstern-Modell namens BERT auf, das wie ein Super-Leser agiert, der bereits fast das gesamte Internet gelesen hat, noch bevor Sie ihm eine Frage stellen. Aber hier ist der Haken: Selbst Super-Leser machen Fehler, und manchmal enthalten die Bücher, die sie lesen (die Daten, die wir ihnen geben), Tippfehler oder falsche Kennzeichnungen. Wenn ein Roboter lernt, dass ein „Hund“ eine „Katze“ ist, weil ein Mensch einen Fehler gemacht hat, wird der Roboter weiterhin denken, dass Hunde Katzen sind. Die große Frage, die sich Wissenschaftler stellen, lautet: Können wir den Roboter nicht nur lesen lassen, sondern ihn auch aus seinen eigenen Fehlern lernen lassen, genau wie ein Mensch es tut, wenn jemand auf einen Fehler hinweist?
Dieses Papier mit dem Titel „Learning From How Humans Correct“ schlägt einen cleveren Weg vor, um einem Computermodell beizubringen, die menschliche Gewohnheit der Selbstkorrektur nachzuahmen. Die Autoren, die an einem realen Textklassifizierungsproblem für eine industrielle Anwendung arbeiteten, bemerkten, dass ihre manuell gekennzeichneten Daten „verrauschte“ Beispiele enthielten – Fälle, in denen die ursprüngliche menschliche Kennzeichnung wahrscheinlich falsch war. Anstatt diese schlechten Beispiele einfach wegzuwerfen oder dem Computer blind zu vertrauen, entwickelten sie eine fünfstufige Trainingsschleife. Zuerst trainierten sie ein Modell (nennen wir es „Modell-A“) auf einem massiven Datensatz von 2 Millionen Einträgen. Dann ließen sie Modell-A den gesamten Datensatz scannen und fanden die 300.000 Einträge, bei denen die Vermutung des Computers nicht mit der ursprünglichen menschlichen Kennzeichnung übereinstimmte. Diese wurden als die „verrauschten“ Unruhestifter markiert.
Hier geschieht die Magie: Menschen gingen zurück und kennzeichneten diese 300.000 schwierigen Artikel manuell neu. Aber sie änderten nicht nur die Kennzeichnung; sie hielten auch fest, was der Computer vor der Korrektur durch den Menschen als Kennzeichnung gedacht hatte. Dies schuf eine spezielle Art von Trainingsdaten, die zwei Informationen enthielten: das „Vorher“ (die falsche Vermutung des Computers) und das „Nachher“ (die korrekte Kennzeichnung des Menschen). Sie trainierten dann ein neues, klügeres Modell (Modell-C) unter Verwendung dieser dualen Information. Das Ziel war es, Modell-C nicht nur zu lehren, Texte zu klassifizieren, sondern die spezifische Fähigkeit des „Korrigierens“ der vorherigen Fehler des Computers zu erlernen.
Die Ergebnisse legen nahe, dass dieser Ansatz funktioniert. Als sie die Modelle testeten, löste das ursprüngliche Modell (Modell-A) 83,3 % der Testfragen richtig. Nachdem die Menschen die verrauschten Daten korrigiert und ein Standardmodell (Modell-B) neu trainiert hatten, sprang die Genauigkeit auf 91,7 %. Aber der Star der Show war Modell-C, das durch den Korrekturprozess lernte, welches eine Genauigkeit von 92,5 % auf dem Testdatensatz erreichte. Noch beeindruckender war, dass Menschen die Ergebnisse bei einer Stichprobe von 5.000 realen Artikeln bewerteten und Modell-C eine Zustimmungsrate von 97,7 % erreichte. Das Papier argumentiert, dass diese Methode für die Industrie praktikabel ist, da sie kein massives neues Team von Kennzeichnern erfordert; stattdin konzentriert sie sich darauf, die spezifischen Datenpunkte zu korrigieren, bei denen Computer und Menschen uneinig sind, und verwandelt so effektiv die Fehler des Computers in eine Lernchance. Die Autoren deuten an, dass es zwar noch Raum für Verbesserungen gibt, etwa durch die Konzentration auf Fälle, in denen sich der Computer zwischen zwei Antworten wirklich unsicher ist, aber für den Moment haben sie gezeigt, dass das Beibringen, dass eine Maschine aus ihren eigenen Korrekturen lernt, ein gangbarer Weg zu intelligenterer KI ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.