Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics

Die große Idee: Hören Sie auf zu fragen „Kann es uns täuschen?“ und beginnen Sie zu fragen „Kann es lernen?“

Stellen Sie sich vor, Sie sind Jury in einem Kochwettbewerb. Seit den letzten 70 Jahren ist der Goldstandard der Turing-Test. Bei diesem Test spricht ein Richter mit einem Menschen und einer Maschine über ein Chat-Fenster. Wenn der Richter nicht erkennen kann, wer wer ist, „besteht“ die Maschine.

Die Autoren dieses Papiers argumentieren, dass dies so ist, als würde man einen Koch allein danach beurteilen, ob seine künstlichen Plastikfrüchte realistisch genug aussehen, um einen blindfoldeten Verkoster zu täuschen. Es geht um Imitation, nicht um tatsächliche Fähigkeiten. Nur weil ein Roboter ein menschliches Gespräch nachahmen kann, bedeutet das nicht, dass er tatsächlich versteht, was er sagt. Er könnte nur ein sehr guter Papagei sein.

Die Autoren schlagen einen neuen Weg vor, KI zu beurteilen. Anstatt zu fragen: „Kann diese Maschine so tun, als wäre sie menschlich?“, sollten wir fragen: „Kann diese Maschine eine Sprache von Grund auf lernen, wie ein Kleinkind?“

Die zentrale Metapher: Das Kleinkind vs. Die Bibliothek

Betrachten Sie aktuelle Large Language Models (LLMs) wie ChatGPT als eine massive Bibliothek. Sie haben fast jedes je geschriebene Buch gelesen. Wenn Sie sie fragen, „verstehen“ sie die Antwort nicht unbedingt; sie sagen statistisch vorher, welche Wörter normalerweise auf die folgen, die Sie gesagt haben, basierend auf allem in der Bibliothek.

Die Autoren wollen KI wie ein Kleinkind, das sprechen lernt, testen.

• Der alte Weg (Turing-Test): Geben Sie dem Kleinkind ein Skript und sehen Sie, ob es es überzeugend rezitieren kann.
• Der neue Weg (Spracherwerb): Stellen Sie das Kleinkind in einen Raum mit einem Lehrer. Geben Sie ihm keine Bücher, kein Internet und keine vorinstallierten Daten. Der Lehrer zeigt auf eine Tasse und sagt: „Tasse.“ Das Kind muss herausfinden, was „Tasse“ bedeutet, indem es sich die Welt ansieht, Fragen stellt und Fehler macht.

Das Papier argumentiert, dass wahre Intelligenz nicht darin besteht, alle Antworten vorzuladen, sondern in der Fähigkeit, Verständnis durch Erfahrung zu erwerben.

Warum „Small Data“ wichtig ist

Das Papier hebt ein Konzept hervor, das „Small Data“ genannt wird.

• Big Data (Aktuelle KI): Stellen Sie sich vor, Sie lernen Radfahren, indem Sie 10 Millionen Stunden Video von anderen Menschen beim Radfahren ansehen. Sie kennen vielleicht die Theorie, aber Sie haben das Gleichgewicht noch nie gefühlt.
• Small Data (Menschliche KI): Stellen Sie sich vor, Sie lernen Radfahren, indem Sie tatsächlich auf ein Rad steigen, hinfallen und es erneut versuchen. Sie lernen aus wenigen spezifischen, bedeutungsvollen Erfahrungen.

Die Autoren behaupten, dass menschliche Kinder Sprache aus relativ wenigen Beispielen („Small Data“) lernen, weil sie in der Realität verankert sind. Sie sehen das Objekt, sie fühlen die Textur, sie sehen die sozialen Signale. Aktuelle KI ist spröde – sie bricht leicht zusammen, wenn sie mit etwas konfrontiert wird, das sie in ihren massiven Trainingsdaten nicht gesehen hat. Ein wirklich intelligentes System sollte in der Lage sein, sich schnell an neue Situationen mit sehr wenig Information anzupassen, genau wie ein Mensch.

Der vorgeschlagene „Neue Test“

Die Autoren skizzieren einen spezifischen Rahmen für diesen neuen Test. So würde er in der Praxis aussehen:

1. Die leere Tafel: Die KI startet ohne vorinstalliertes Wissen über die Sprache oder die Umgebung.
2. Der Lehrer: Ein Mensch (oder ein anderer Agent) interagiert mit der KI und gibt verbale Anweisungen.
3. Die Aufgabe: Die KI muss ihre Umgebung beschreiben, Fragen stellen, um Dinge zu klären, und Ziele erreichen (wie das Finden eines Objekts oder das Lösen eines Puzzles), indem sie nur die Sprache verwendet, die sie in Echtzeit lernt.
4. Die Zweitsprachen-Herausforderung: Sobald die KI die erste Sprache gemeistert hat, muss sie eine zweite, völlig andere Sprache lernen (vielleicht eine, die selten oder nicht dokumentiert ist), um zu beweisen, dass sie nicht nur Muster auswendig lernt, sondern tatsächlich das Konzept der Sprache versteht.
5. Strenge Bedingungen: Der Test findet in einer kontrollierten Umgebung statt (wie in einem „Faraday-Käfig“, um externe Signale zu blockieren), um sicherzustellen, dass die KI nicht betrügt, indem sie Antworten online nachschlägt.

Wichtige Anforderungen für den Test

Um sicherzustellen, dass dieser Test fair und wissenschaftlich ist, listen die Autoren mehrere Regeln auf:

• Reproduzierbarkeit: Andere Wissenschaftler müssen denselben Test durchführen und ähnliche Ergebnisse erhalten können.
• Transparenz: Jede Interaktion, jeder Fehler und jeder Erfolg muss aufgezeichnet werden.
• Keine „Kluge Hans“-Tricks: In der Geschichte schien ein Pferd namens Kluge Hans Mathematik zu können, aber es las eigentlich nur subtile Körpersprachsignale seines Besitzers. Der Test muss sicherstellen, dass die KI tatsächlich versteht und nicht nur zufällige Hinweise der Richter aufgreift.
• Wohlbefinden: Der Test sollte auch messen, ob die KI „gedeiht“ oder sich gut anpasst, nicht nur überlebt.

Das größere Bild: Sprache als Überlebenswerkzeug

Das Papier stützt sich auf Biologie und Philosophie, um zu argumentieren, dass Sprache nicht nur Code ist, sondern ein Überlebenswerkzeug. Menschen entwickelten Sprache, um zusammenzuarbeiten und zu überleben. Daher demonstriert eine KI, die Sprache wirklich erwerben kann, eine tiefere Form der Intelligenz – eine, die mit ihrer Umgebung verbunden ist, zu sozialer Interaktion fähig ist und sich an Veränderungen anpassen kann.

Zusammenfassung

Kurz gesagt sagen die Autoren:
Hören Sie auf, KI danach zu testen, wie gut sie ihre künstliche Natur verbergen kann. Beginnen Sie, sie danach zu testen, wie gut sie lernen, sich anpassen und die Welt um sie herum verstehen kann, genau wie ein Kind.

Sie glauben, dass wir, wenn wir unseren Fokus von Imitation (menschlich aussehen) auf Erwerb (lernen wie ein Mensch) verlagern, eine viel bessere, ehrlichere und nützlichere Messgröße dafür erhalten werden, was es bedeutet, dass eine Maschine wirklich intelligent ist.