From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

Stellen Sie sich vor, Sie versuchen zu verstehen, was einen Menschen „klug“ macht. Lange Zeit haben Wissenschaftler versucht, dies zu messen, indem sie Menschen eine riesige Liste verschiedener Aufgaben geben – das Lösen von Mathe-Rätseln, das Erinnern an Geschichten, das Erkennen von Mustern in Formen und das Verstehen von Sprache. Sie nennen dies „Domänen“. Die Idee ist: Wenn man in all diesen Bereichen gut abschneidet, besitzt man eine hohe Intelligenz. Aber es gibt einen Haken: Wenn wir diese Tests durchführen, behandeln wir normalerweise jede einzelne Aufgabe so, als wäre sie gleich wichtig. Es ist, als würde man einen Schüler bewerten, indem man der Fähigkeit, sich die Schuhe zu binden, das gleiche Gewicht beimisst wie der Fähigkeit, ein Gedicht zu schreiben. Zudem sind diese Tests meistens „Schnappschüsse“. Man macht den Test einmal, erhält eine Punktzahl und das war’s. Man weiß nicht, ob der Schüler noch in der Lage sein wird, das Rätsel nächste Woche zu lösen, oder ob er zusammenbrechen wird, wenn man den Test etwas schwieriger macht oder ein paar Tage wartet, bevor er ihn erneut versucht.

Dies ist die Welt der Evaluierung von Künstlicher Allgemeiner Intelligenz (AGI). AGI ist der Traum, einen Computer zu bauen, der so klug und flexibel ist wie ein Mensch, fähig zu lernen und Probleme in jeder Situation zu lösen, nicht nur in der, für die er programmiert wurde. Momentan testen Forscher diese KI-Systeme mit genau diesen „Schnappschuss“-Checklisten. Aber wenn wir wissen wollen, ob eine KI wirklich „allgemein“ intelligent ist, müssen wir wissen, ob ihre Klugheit echt und beständig ist oder nur ein glücklicher Trick, der zusammenbricht, wenn es stressig wird. Dieses Paper stellt eine große Frage: Wie hören wir auf, nur Punkte zu zählen, und fangen an, die Stabilität eines maschinellen Geistes zu messen?

Die Autoren dieses Papers schlagen vor, dass die Art und Weise, wie wir KI derzeit testen, ein wenig so ist, als würde man ein Auto nur danach beurteilen, wie schnell es an einem sonnigen Tag auf einer geraden Strecke fahren kann. Es mag schnell aussehen, aber das sagt uns nicht, ob der Motor auf einer holprigen Straße durchhält oder ob die Bremsen funktionieren, wenn es regnet. Sie argumentieren, dass wahre Intelligenz – ob in Menschen oder Maschinen – nicht nur eine Liste von Fähigkeiten ist. Stattdessen ist sie eher wie ein homöostatisches Eigenschaftsklumpen (homeostatic property cluster). Das ist eine schicke Art zu sagen, dass es eine Gruppe von Fähigkeiten ist, die zusammenhalten, weil es interne Mechanismen gibt, die sie miteinander verbinden, selbst wenn es chaotisch wird oder sich Dinge ändern.

Stellen Sie sich Intelligenz wie ein gut gebautes Lagerfeuer vor. Die „Domänen“ (Mathe, Sprache, Logik) sind die Holzscheite. Aber das Feuer selbst ist die Hitze und die Flamme, die alle Holzscheite zusammen brennen lassen. Wenn man die Holzscheite (die Fähigkeiten) nur aufstapelt, aber nicht das Mechanismus besitzt, um sie brennen zu lassen (den homöostatischen Teil), wird ein kleiner Windstoß (ein Stressfaktor oder eine Verzögerung) das Feuer ausblasen. Das Paper schlägt vor, dass aktuelle Tests nur prüfen, ob die Holzscheite da sind, aber ignorieren, ob das Feuer einem Windstoß standhalten kann.

Die Autoren schlagen zwei Hauptänderungen vor, um dies zu beheben. Erstens sagen sie, dass wir nicht jede Testfrage als gleich wichtig behandeln sollten. Genau wie manche Holzscheite dichter sind und heißer brennen, sind manche Fähigkeiten „zentraler“, um das gesamte Feuer am Laufen zu halten. Sie schlagen eine neue Bewertungsmethode vor, die Zentralitäts-Prior-Score (centrality-prior score) genannt wird. Dies würde die Tests danach gewichten, wie sehr eine spezifische Fähigkeit hilft, das gesamte System stabil zu halten, wobei sie Ideen aus der Art und Weise nutzen, wie die menschliche Intelligenz bereits untersucht wird. Es ist, als würde man einen Schüler schwerer auf seine Fähigkeit bewerten, neue Dinge zu lernen, als auf seine Fähigkeit, sich an eine einzelne Tatsache zu erinnern.

Zweitens wollen sie sich nicht mehr auf einmalige Schnappschüsse verlassen. Stattdessen schlagen sie einen Cluster-Stabilitätsindex (Cluster Stability Index) vor. Dabei geht es nicht nur darum, einmalig eine hohe Punktzahl zu erreichen; es geht darum, zu beweisen, dass die KI diese Punktzahl über die Zeit und unter Druck beibehalten kann. Sie schlagen vor, die KI auf drei spezifische Arten zu testen:

1. Profil-Persistenz (Profile Persistence): Erinnert sich die KI Tage oder Wochen später noch daran, wie Dinge funktionieren?
2. Beständiges Lernen (Durable Learning): Wenn man ihr etwas Neues beibringt, bleibt es hängen oder vergisst sie es sofort wieder?
3. Fehlerkorrektur (Error Correction): Wenn die KI einen Fehler macht, kann sie diesen selbstständig korrigieren, ohne abzustürzen?

Das Paper behauptet nicht, dass es bereits einen perfekten Test gebaut oder das Problem der Messung von AGI schon gelöst hat. Stattdessen schlagen die Autoren vor, dass diese neuen Methoden besser wären. Sie bieten einen Bauplan für Labore an, um diese Ideen auszuprobieren. Sie schlagen vor, dass diese Tests durchgeführt werden können, selbst wenn die Labore nicht genau wissen, wie die KI im Inneren aufgebaut ist (ein „Black-Box“-Ansatz). Sie treffen zudem Vorhersagen darüber, was passieren würde, wenn wir diese neuen Tests anwenden würden, und deuten an, dass viele aktuelle KI-Systeme dadurch ganz anders aussehen könnten – vielleicht weniger „allgemein“ intelligent und eher brüchig, sobald wir anfangen, nach Stabilität und Widerstandsfähigkeit gegen Stress zu suchen.

Kurz gesagt: Das Paper argumentt, dass wir von der bloßen Abzeichnung von Checkboxen dazu übergehen müssen, zu prüfen, ob das Feuer brennt. Indem wir die wichtigen Fähigkeiten stärker gewichten und testen, ob die KI mit Verzögerungen und Fehlern umgehen kann, könnten wir endlich ein klareres Bild davon bekommen, ob eine Maschine wirklich klug ist oder nur so tut, als ob.