ASI-Bench: At the Dawn of Artificial Superintelligence

Der Weg hin zu einer Maschine, die wie ein Mensch denken kann, hat sich lange Zeit darauf konzentriert, wie gut Computer Fakten auswendig lernen, bekannte Rätsel lösen oder einer Reihe von Anweisungen folgen können, um zu einem spezifischen Ergebnis zu gelangen. Jahrelang waren die fortschrittlichsten Systeme der künstlichen Intelligenz in diesen Aufgaben exzellent darin, riesige Bibliotheken menschlichen Wissens aufzusaugen und diese mit unglaublicher Geschwindigkeit anzuwenden. Doch es gibt eine andere Art von Intelligenz, die weitgehend außer Reichweite bleibt: die Fähigkeit, in das Unbekannte vorzustoßen, auf ein chaotisches, unerklärtes Problem zu blicken und nicht nur die Antwort zu finden, sondern den Weg dorthin selbst zu entwerfen. Dies ist das Reich der wissenschaftlichen Entdeckung, wo das Ziel nicht darin besteht, eine Formel abzurufen, sondern eine zu erfinden, ein Experiment zu entwerfen und eine vage Frage in ein verifiziertes Ergebnis zu verwandeln. Die Frage, die eine neue Studie antreibt, ist, ob heutige Maschinen dies wirklich aus eigener Kraft tun können oder ob sie noch immer vollständig darauf angewiesen sind, dass Menschen ihnen bei jedem Schritt die Hand halten.

Ein Team von Forschern aus Universitäten und Instituten weltweit hat einen neuen Testgrund geschaffen, genannt ASI-Bench, um diese Frage zu beantworten. Sie entwickelten sechzig komplexe Forschungsprojekte in elf verschiedenen wissenschaftlichen Fachgebieten, die von Physik und Chemie bis hin zu Biologie und Ingenieurwesen reichen. Jedes Projekt wurde so konzipiert, dass es eine echte wissenschaftliche Untersuchung nachahmt, komplett mit Rohdaten, einem spezifischen Ziel und der Anforderung, eine funktionierende Lösung zu produzieren. Die Brillanz des Designs liegt darin, wie sie die Maschinen testeten. Für jedes einzelne Forschungsprojekt ließen sie dasselbe KI-System viermal laufen, änderten jedoch das Maß an Hilfe, das sie ihm gaben. In einem ersten Szenario wurde der KI ein vollständiges, schrittweises Handbuch an die Hand gegeben, das genau erklärte, wie das Problem zu lösen sei. Im zweiten Szenario wurde ihr nur die allgemeine Methode genannt, so als würde man jemandem sagen, er solle „einen Hammer benutzen“, ohne ihm zu zeigen, wie man ihn schwingt. Im dritten Szenario erhielt die KI nur das Problem und die Daten, ohne Anweisungen zum weiteren Vorgehen, was sie zwang, die Methode selbst zu bestimmen. Schließlich fügten sie im vierten Szenario eine Ebene verwirrender, irrelevanter Informationen hinzu, um zu sehen, ob die Maschine sich auf die eigentliche Aufgabe konzentrieren konnte.

Die Ergebnisse offenbaren eine ernüchternde Realität über den aktuellen Stand der künstlichen Intelligenz. Wenn die Maschinen vollständige Anweisungen erhielten, schnitten sie passabel ab und erreichten einen Durchschnitt von etwa einundfünfzig von hundert möglichen Punkten. Sobald die Forscher jedoch die schrittweise Anleitung entfernten und die KI baten, das Verfahren eigenständig zu entwickeln, brach die Leistung drastisch ein. Als die KI die Methode selbst wählen musste, sank der Durchschnittswert auf etwa siebenundzwanzig. Dieser starke Rückgang deutet darauf darauf hin, dass heutige Systeme zwar exzellent darin sind, einem Pfad zu folgen, den Menschen bereits geebnet haben, aber enorme Schwierigkeiten haben, die Straße selbst zu bauen. Die größte Hürde war nicht die Wahl des richtigen Werkzeugs, sondern vielmehr die Übersetzung einer allgemeinen Idee in einen funktionierenden, detaillierten Plan. Selbst wenn die KI wusste, welche Methode anzuwenden war, scheiterte sie oft daran, die notwendigen Schritte zu konstruieren, um sie zum Erfolg zu führen, was dazu führte, dass die Punktzahlen signifikant sanken, sobald die detaillierten Anweisungen entfernt wurden.

Die Forscher entdeckten auch, dass das Hinzufügen zusätzlicher, ablenkender Informationen die Maschinen nicht annähernd so sehr verwirrte wie das Entfernen der Anweisungen. Wenn die KI dieselbe schwierige Aufgabe erhielt, der jedoch ein Haufen unzusammenhängender Fakten und Geplänkel hinzugefügt wurde, blieb ihre Leistung fast exakt dieselbe wie in dem Szenario, in dem sie gar keine Anweisungen hatte. Dies deutet darauf hin, dass die primäre Schwäche aktueller Systeme nicht ein Mangel an Fokus oder die Unfähigkeit, Rauschen zu filtern ist, sondern eine grundlegende Unfähigkeit, ohne eine vom Menschen definierte Roadmap zu operieren. Die Studie umfasste achtzehn verschiedene Kombinationen von KI-Modellen und Software-Agenten, und selbst die fortschrittlichste Konfiguration, die über das leistungsfähigste verfügbare Reasoning verfügte, erreichte allein durch sich selbst etwa zweiundfünfzig Punkte. Dies ist ein bescheidener Erfolg, der jedoch weit hinter der Zuverlässigkeit zurückbleibt, die für die Durchführung unabhängiger wissenschaftlicher Forschung erforderlich wäre.

Der Preis dieser Unabhängigkeit ist ebenfalls hoch. Wenn die KI die Schritte selbst festlegen musste, verbrauchte sie deutlich mehr Rechenleistung und Zeit, als wenn sie lediglich Befehle ausführte. In einigen Fällen verbrauchte das System fast sechzig Prozent mehr Rechenressourcen, nur um denselben Versuch ohne Leitfaden zu unternehmen, wobei es oft in Schleifen geriet oder ineffiziente Wege einschlug. Dies legt nahe, dass wahre Autonomie nicht nur eine Frage der Intelligenz, sondern auch der Effizienz ist; ohne menschliche Führung verschwenden die Maschinen enorme Mengen an Aufwand, während sie versuchen, Probleme zu lösen, die sie schnell hätten bewältigen können, wenn man ihnen gesagt hätte, wie. Die Studie kommt zu dem Schluss, dass wir noch weit von der Ära der künstlichen Superintelligenz entfernt sind – einem Zustand, in dem Maschinen das Unbekannte erforschen und neues Wissen ohne menschliches Eingreifen erschaffen können. Stattdessen befinden wir uns in einer Phase, in der Maschinen mächtige Assistenten sind, die komplexe Aufgaben ausführen können, aber dennoch stark darauf angewiesen sind, dass Menschen die Strategie definieren.

Dieser neue Benchmark ist nicht als abschließendes Urteil gedacht, sondern als Ausgangspunkt für die wissenschaftliche Gemeinschaft. Die Forscher haben ihre sechzig Aufgaben und ihre Testmethoden der Welt zugänglich gemacht und laden andere Wissenschaftler und Ingenieure ein, neue Probleme beizusteuern und ihre eigenen Systeme an diesen Herausforderungen zu testen. Sie glauben, dass die Gemeinschaft durch das kontinuierliche Hinzufügen neuer, schwieriger Forschungsprojekte und die Verfeinerung der Tests Fortschritte genauer verfolgen kann. Das Ziel ist es, über einfache Tests von Gedächtnis und Logik hinauszugehen hin zu einer Zukunft, in der wir messen können, ob eine Maschine wirklich wie ein Wissenschaftler denken kann – fähig, das Unbekannte zu navigieren und ein leeres Blatt in eine Entdeckung zu verwandeln. Für den Moment zeigen die Daten, dass unsere Maschinen zwar klüger werden, aber immer noch darauf warten, dass wir ihnen sagen, was sie als Nächstes tun sollen.