In der Welt der künstlichen Intelligenz werden große Sprachmodelle oft an einer einzigen, einfachen Frage gemessen: Kann es die richtige Antwort finden? Wenn ein Nutzer nach einer Lösung für ein mathematisches Problem, einer Zeile Code oder einer medizinischen Diagnose fragt, ist der Standardtest, ob das Modell eine einzige korrekte Antwort produziert. Dieser Ansatz behandelt die Maschine wie einen Schüler, der eine Abschlussprüfung ablegt, bei der nur die Bestnote zählt. Doch in vielen realen Situationen reicht eine einzige Antwort nicht aus. Ein Wissenschaftler, der ein neues Medikament entwickelt, muss vielleicht zehn verschiedene chemische Strukturen sehen, die alle funktionieren, damit er diejenige auswählen kann, die am einfachsten herzustellen ist. Ein Softwareentwickler, der eine Sicherheitslücke schließt, möchte vielleicht mehrere verschiedene Wege patchen, um zu sehen, welcher am sichersten ist. In diesen Szenarien liegt der Wert der Maschine nicht in ihrer Fähigkeit, eine einzige perfekte Ausgabe zu produzieren, sondern in ihrer Fähigkeit, eine reiche Menge an unterschiedlichen, nützlichen Optionen zu generieren. Die Herausforderung für die Forscher bestand darin, wie man diese Fähigkeit misst. Traditionelle Tests zählen oft, wie oft ein Modell richtig liegt, oder sie wählen einfach die beste Antwort aus einer Liste aus und ignorieren den Rest. Das verfehlt den Punkt völlig, wenn das Ziel darin besteht, eine vielfältige Sammlung gültiger Möglichkeiten zur Auswahl zu haben.

Ein Team von Forschern am RIKEN Center for Computational Science in Japan hat einen neuen Weg entwickelt, um dieses Problem zu betrachten. Sie haben ein spezialisiertes Testfeld geschaffen, das sie einen Benchmark nennen, der speziell darauf ausgelegt ist zu sehen, wie gut eine künstliche Intelligenz eine Vielzahl nützlicher Antworten für eine einzelne Aufgabe generieren kann. Anstatt zu fragen: „Hat es die Antwort richtig gefunden?“, fragt ihre Methode: „Wie viele verschiedene, wirklich nützliche Antworten hat es gefunden?“ Sie bauten diesen Test mit fünf sehr unterschiedlichen Arten von realen Problemen auf, die vom Entwurf chemischer Moleküle über das Beheben von Softwarefehlern bis hin zur Suche nach medizinischen Belegen reichen. Für jedes Problem definierten sie genau, was als ein „nützliches“ Ergebnis zählt und wie man feststellt, ob zwei Ergebnisse tatsächlich unterschiedlich sind. Beispielsweise könnten sich bei der Molekülgestaltung zwei Antworten oberflächlich betrachtet unterscheiden, aber wenn sie dieselbe chemische Grundstruktur teilen, zählen sie als dasselbe nützliche Ergebnis. Die Forscher ließen dann verschiedene Modelle durch diese Aufgaben laufen, wobei sie sie baten, dies mehrfach zu versuchen, und zählten, wie viele einzigartige, gültige Lösungen sie ansammelten.

Die Ergebnisse dieser Studie offenbaren eine überraschende Wahrheit darüber, wie diese Maschinen funktionieren. Die Forscher fanden heraus, dass die Modelle, die am besten darin sind, eine einzige, hochwertige Antwort zu produzieren, nicht unbedingt diejenigen sind, die die beste Sammlung vielfältiger Antworten liefern. Tatsächlich ändert sich das Ranking, welches Modell das „beste“ ist, je nachdem, wie viele Versuche erlaubt sind. Ein Modell, das führt, wenn es nur einen Versuch hat, kann zurückfallen, wenn man ihm zwanzig Versuche gibt, während ein anderes Modell, das langsamer startet, schließlich eine breitere Palette nützlicher Lösungen entdecken kann. Dies deutet darauf hin, dass die Einstellungen, mit denen diese Modelle betrieben werden, wichtiger sind als bisher gedacht. Die Forscher entdeckten, dass die Erhöhung der „Temperatur“ – einer Einstellung, die die Ausgabe des Modells zufälliger und variabler macht – oft zu einer viel breiteren Sammlung nützlicher Ergebnisse führte, obwohl dies manchmal die Qualität einer einzelnen Antwort senkte. Umgekehrt verbesserte eine Funktion namens „Denken“, die das Modell dazu ermutigt, vor der Antwort Schritt für Schritt zu argumentieren, die Qualität einzelner Antworten, half dem Modell jedoch nicht immer dabei, mehr distinkte Lösungen zu finden.

Vielleicht am wichtigsten ist, dass die Studie zeigte, dass es nicht ausreicht, lediglich zu prüfen, wie unterschiedlich die Antworten oberflächlich aussehen, um zu sagen, ob sie wirklich nützlich sind. Eine gängige Methode, um Diversität zu beurteilen, besteht darin, zu prüfen, ob die Wörter oder Zeichen in den Antworten voneinander verschieden sind. Die Forscher fanden heraus, dass dieser oberflächliche Check ein schlechter Prädiktor dafür ist, ob das Modell tatsächlich neue, gültige Lösungen gefunden hat. Ein Modell könnte zehn Antworten produzieren, die sich untereinander sehr unterschiedlich sehen, aber alle dieselbe zugrunde liegende Lösung repräsentieren, wodurch es die Vielfalt verfehlt, die ein Nutzer tatsächlich benötigt. Durch die Verwendung eines Systems, das den tatsächlichen Inhalt und die Bedeutung der Antworten gegen die spezifischen Regeln der Aufgabe prüft, konnten die Forscher die wahre „Abdeckung“ (Coverage) der Ergebnisse messen. Sie fanden heraus, dass dieses tiefere Maß oft zu anderen Schlussfolgerungen darüber führte, welche Modelle und Einstellungen am besten abschnitten.

Das Team testete vier verschiedene Large Language Models über diese fünf Domänen hinweg: das Entwerfen von Molekülen, das Reparieren von Software-Repositories, das Finden von Fehlern im Code, die Diagnose medizinischer Fälle und die Suche nach Belegen zur Unterstützung komplexer Fragen. Sie ließen jedes Modell mit verschiedenen Einstellungen laufen, wie etwa variierenden Ebenen von Zufälligkeit und dem Aktivieren oder Deaktivieren des „Denkprozesses“. Sie maßen dann, wie viele distinkte, gültige Ergebnisse jedes Modell mit zunehmender Anzahl der Versuche produzierte. Die Daten zeigten, dass für die meisten Aufgaben das Modell, das zu Beginn am besten abschnitt, nicht dasjenige war, das nach vielen Versuchen am besten abschnitt. Beispielsweise war bei der Aufgabe des Moleküldesigns ein Modell nach einem einzigen Versuch der Spitzenreiter, aber bis zum zwanzigsten Versuch hatte ein anderes Modell signifikant mehr einzigartige chemische Strukturen aufgedeckt. Dieses Muster hielt über alle Bereiche hinweg stand, was darauf hindeutet, dass die beste Strategie für eine einzelne Antwort oft eine andere ist als die beste Strategie für eine Menge von Antworten.

Die Studie untersuchte auch, ob es helfen würde, dem Modell explizit zu sagen, dass es sich nicht wiederholen soll. In einigen Fällen haben Forscher versucht, Diversität zu erzwingen, indem sie das Modell baten, Ideen zu generieren, die sich von dem unterscheiden, was es gerade zuvor gesagt hat. Die Forscher fanden heraus, dass dieser Ansatz nicht zuverlässig funktionierte. Während er in einigen spezifischen Aufgaben wie der Suche nach Belegen half, reduzierte er in anderen, wie etwa beim Reparieren von Software, tatsächlich die Anzahl der nützlichen Lösungen. Dies deutet darauf hin, dass die bloße Forderung nach Varietät nicht garantiert, dass das Modell neues, gültiges Terrain findet. Stattdessen spielt die Art und Weise, wie das Modell konfiguriert ist, insbesondere die Einstellungen, die seine Zufälligkeit steuern, eine entscheidendere Rolle bei der Bestimmung, ob es in der Lage ist, ein breites Spektrum nützlicher Möglichkeiten zu erkunden.

Diese Erkenntnisse ändern, wie wir die Bewertung künstlicher Intelligenz denken sollten. Jahrelang lag der Fokus darauf, die eine beste Antwort zu erhalten. Aber da diese Maschinen für komplexere Aufgaben eingesetzt werden, bei denen das Vorhandensein von Optionen entscheidend ist, ist die alte Art, Erfolg zu messen, unzureichend. Die Arbeit der Forscher zeigt, dass eine endliche Menge an Kandidatenantworten ein eigenständiges Untersuchungsobjekt ist. Es ist nicht nur eine Sammlung von Versuchen, die zu einem Gewinner führen; es ist eine Landschaft der Möglichkeiten, die kartiert und gemessen werden kann. Durch die Verwendung ihrer neuen Methode, die sie „validierte Aufgabenabdeckung“ (validated task coverage) nennen, zeigten sie, dass wir direkt bewerten können, wie gut ein Modell diese Landschaft exploriert. Die Ergebnisse legen nahe, dass wir, um das Beste aus diesen Werkzeugen herauszuholen, aufhören müssen, nach der einen besten Antwort zu suchen, und statfangen sollten, die Breite der Optionen zu schätzen, die sie bieten können.

Die Implikationen dieser Forschung reichen über die bloße Auswahl des richtigen Modells hinaus. Sie deuten darauf hin, dass sich auch die Art und Weise, wie wir mit diesen Systemen interagieren, ändern muss. Wenn ein Nutzer eine Vielzahl von Lösungen benötigt, muss er vielleicht die Einstellungen anpassen, um mehr Exploration zu fördern, selbst wenn dies bedeutet, zu akzeptieren, dass einzelne Antworten vielleicht etwas weniger perfekt sind. Die Studie bietet eine konkrete Möglichkeit, diese verschiedenen Ansätze zu testen und zu vergleichen, indem sie über vage Ideen von „Kreativität“ oder „Diversität“ hinausgeht und zu einer klaren, messbaren Anzahl nützlicher Ergebnisse übergeht. Die Forscher haben ihre Werkzeuge und Daten der Öffentlichkeit zugänglich gemacht, sodass andere neue Modelle und Einstellungen gegen diesen neuen Standard testen können. Dies öffnet die Tür für ein nuancierteres Verständnis dessen, was diese Maschinen leisten können, indem der Fokus von einem einzelnen Punkt des Erfolgs auf das volle Spektrum ihres Potenzials verschoben wird.

Letztendlich bietet das Paper eine leise, aber bedeutende Perspektivänderung. Es argumentiert, dass der Wert einer künstlichen Intelligenz nicht nur in ihrer Fähigkeit liegt, richtig zu liegen, sondern in ihrer Fähigkeit, auf viele verschiedene Arten nützlich zu sein. Indem sie einen Test entwickelten, der die Akkumulation distinkter, gültiger Ergebnisse misst, haben die Forscher eine neue Linse geschaffen, durch die wir diese mächtigen Werkzeuge betrachten können. Sie haben gezeigt, dass der Weg zur besten Menge an Antworten nicht immer derselbe ist wie der Weg zur besten einzelnen Antwort, und dass die Einstellungen, die wir wählen, einen tiefgreifenden Unterschied in der Vielfalt der Lösungen machen können, die wir erhalten. Diese Arbeit beansprucht nicht, jedes Problem bei der Bewertung von KI gelöst zu haben, aber sie bietet eine klare, reproduzierbare Methode, um eine Frage zu stellen, die zu lange übersehen wurde: Wie viele nützliche Dinge kann diese Maschine tatsächlich finden?