The geometry of AI validation: Exact certification limits for iid best-of-N search

Moderne künstliche Intelligenz hat sich über das bloße Beantworten einer einzelnen Frage mit einer einzigen Antwort hinausentwickelt. Heutige Systeme generieren oft eine breite Palette von Möglichkeiten, vergleichen diese miteinander und wählen dann die beste Option aus, um sie dem Benutzer zu präsentieren. Dieser Prozess, bekannt als Suche (Search), wird verwendet, um komplexe mathematische Probleme zu lösen, Computercode zu schreiben oder neue Moleküle zu entwerken. Da das System aus vielen Alternativen auswählt, hängt die Zuverlässigkeit seines endgültigen Ergebnisses vollständig davon ab, wie diese Auswahl getroffen wurde. Wenn ein System die beste Antwort aus hundert Versuchen auswählt, unterscheidet sich die Qualität dieser Antwort von der Qualität einer Antwort, die aus nur einem Versuch ausgewählt wurde. Die zentrale Herausforderung für Wissenschaftler besteht darin, herauszufinden, wie man verifiziert, dass diese ausgewählten Antworten tatsächlich korrekt sind, insbesondere wenn das System darauf trainiert wurde, die „beste“ statt einer zufälligen Antwort zu wählen.

Dieses Verifizierungsproblem ist knifflig, da der Akt der Auswahl die Natur der gemessenen Wahrheit verändert. Stellen Sie sich einen Wissenschaftler vor, der die Leistung eines Modells anhand einiger spezifischer Arten von Fragen überprüft und feststellt, dass es sehr genau ist. Wenn dieses Modell dann verwendet wird, um eine völlig andere Art von Problem zu lösen, oder wenn sich der Auswahlprozess ändert, um nach einer anderen Art der „besten“ Antwort zu suchen, könnten die vorherigen Überprüfungen nicht mehr anwendbar sein. Die Zuverlässigkeit des Systems ist keine feste Zahl, die gleich bleibt; sie ist an die spezifische Methode gebunden, die zur Findung der Antwort verwendet wird. Wenn die Methode, mit der das System überprüft wird, nicht dasselbe Terrain abdeckt wie die Methode, mit der es eingesetzt wird, könnte das System zuverlässig erscheinen, während es in Wirklichkeit blind für seine eigenen Fehler im neuen Kontext ist.

Ricardo Fitas, ein Forscher an der Technischen Universität Darmstadt, hat eine präzise Methode entwickelt, um genau zu messen, wie viel Unsicherheit verbleibt, wenn wir versuchen, diese KI-Systeme zu validieren. Seine Arbeit konzentriert sich auf ein häufiges Szenario, bei dem eine KI viele Kandidaten generiert und den besten basierend auf einem Score auswählt. Die Studie stellt eine grundlegende Frage: Wenn wir wissen, wie zuverlässig das System ist, wenn es die beste Antwort aus einer kleinen Anzahl von Versuchen auswählt, können wir sicher sein, wie zuverlässig es sein wird, wenn es die beste Antwort aus einer viel größeren Anzahl von Versuchen auswählt? Die Antwort lautet laut der Forschung oft: Nein. Es gibt eine harte Grenze für das, was wir wissen können, ohne die Art und Weise zu ändern, wie wir das System testen.

Die Forschung zeigt, dass das Wissen über die Leistung eines Systems bei kleinen Suchgrößen keine Garantie für das Wissen über seine Leistung bei großen Suchgrößen ist. Selbst wenn ein System perfekt arbeitet, wenn es die beste Antwort aus zehn Versuchen wählt, könnte es theoretisch sehr schlecht abschneiden, wenn es aus hundert wählt, und beide Szenarien wären mit denselben Testdaten konsistent. Dies liegt nicht daran, dass die Tests schlecht durchgeführt wurden, sondern weil die Tests einfach nicht in die richtige Richtung geschaut haben. Die Studie beweist, dass eine spezifische, unüberbrückbare Wissenslücke existiert, wann immer die Suchgröße in der realen Welt größer ist als die Suchgröße, die während des Testens verwendet wurde. Diese Lücke stellt eine Form der strukturellen Blindheit dar: Das System könnte genau so funktionieren, wie die Tests es suggerieren, und dennoch auf eine Weise scheitern, die die Tests niemals vorhersehen konnten.

Um dies zu verstehen, betrachten Sie die Validierung wie das Leuchten mit einer Taschenlampe in einen dunklen Raum. Wenn Sie das Licht nur an einigen spezifischen Stellen hinhalten, können Sie sicher sein, was in diesen Stellen ist, aber Sie können nicht wissen, was in den dunklen Ecken ist. Wenn das KI-System dann in einer Weise eingesetzt wird, die erfordert, in diese dunklen Ecken zu schauen, bieten Ihre vorherigen Überprüfungen keine Sicherheit. Der Forscher hat die genaue Größe dieser Unsicherheit berechnet. Für ein System, das durch hundert Kandidaten sucht, kann die Unsicherheit über seine wahre Leistung so hoch wie dreiundachtzig Prozent sein, wenn Sie es nur auf Suchen von bis zu sechzehn Kandidaten getestet haben. Das bedeutet, dass zwei völlig unterschiedliche Versionen des Systems alle Ihre Tests bestehen könnten, während die eine nahezu perfekt und die andere bei der Konfrontation mit der größeren Suche nahezu unbrauchbar sein könnte.

Die Studie zeigt auch, dass das bloße wiederholte Durchführen derselben Tests dieses Problem nicht löst. Das Ausführen eines Tests tausend Mal auf derselben kleinen Suchgröße reduziert nur das zufällige Rauschen; es beleuchtet jedoch nicht die dunklen Ecken. Um die Unsicherheit zu verringern, müssen Sie den Test selbst ändern, um in eine andere Art der Suche zu blicken. Die Forschung liefert eine klare Regel für die Durchführung: Sie müssen den Bereich Ihrer Tests erweitern, um dasselbe Gelände abzudecken, das in der realen Anwendung vorzufinden ist. Wenn Sie ein System zertifizieren wollen, das durch hundert Kandidaten sucht, müssen Sie Tests einschließen, die eine Suche durch hundert Kandidaten beinhalten oder zumindest eine Zahl, die nahe daran liegt.

Das Paper validiert diese Ergebnisse anhand von Realdaten aus zwei verschiedenen Domänen: mathematischer Logik und Computerprogrammierung. In den Mathematik-Experimenten untersuchten die Forscher, wie gut KI-Modelle Probleme lösten, wenn sie die beste Antwort aus tausenden generierten Lösungen auswählten. Sie fanden heraus, dass sich die durchschnittliche Leistung zwar verbesserte, während das System mehr Kandidaten durchsuchte, bestimmte Probleme jedoch tatsächlich schlechter wurden. Einige Probleme, die mit einer kleinen Suche korrekt gelöst wurden, wurden falsch, wenn das System breiter suchte. Ähnlich verhielt es sich in den Programmier-Experimenten, in denen die Forscher Aufgaben der Codegenerierung analysierten. Sie entdeckten, dass selbst wenn die Erfolgsrate insgesamt gut aussah, einzelne Aufgaben dramatisch scheitern konnten, wenn sich die Suchbreite änderte. Diese realen Beispiele bestätigten, dass die theoretischen Grenzen der Unsicherheit keine bloßen mathematischen Abstraktionen waren, sondern in tatsächlichem KI-Verhalten vorhanden sind.

Darüber hinaus bietet die Studie einen praktischen Lösungsansatz für das Design besserer Evaluierungen. Sie schlägt einen zweistufigen Ansatz vor. Erstens müssen Forscher sicherstellen, dass ihre Tests die strukturelle Breite der realen Aufgabe abdecken. Das bedeutet, das System auf derselben Skala der Suche zu testen, mit der es in der Praxis konfrontiert sein wird. Zweitens, sobald diese strukturelle Abdeckung etabliert ist, können sie mehr unabhängige Aufgaben hinzufügen, um das zufällige Rauschen zu reduzieren und die Präzision zu verbessern. Die Forschung zeigt, dass das Sammeln von mehr Labels oder Daten nur dann effektiv ist, wenn die Daten in die richtige Richtung gesammelt werden. Beispielsweise reduzierte das Sammeln von Labels spezifisch für die am höchsten bewerteten Kandidaten die Fehlerrate in den Programmier-Experimenten signifikant stärker als das Sammeln von Labels für zufällige Kandidaten. Dies unterstreicht, dass die Richtung des Tests wichtiger ist als das reine Volumen der Daten.

Die Ergebnisse dienen als Warnung davor, anzunehmen, dass ein System sicher ist, nur weil es eine Reihe von Standardtests bestanden hat. Wenn diese Tests nicht mit der spezifischen Art und Weise übereinstimmen, wie das System verwendet werden soll, kann das System verborgene Fehler bergen, die erst bei der Bereitstellung auftreten. Die Studie behauptet nicht, dass die KI-Suche kaputt ist oder nicht verbessert werden kann; vielmehr klärt sie, dass die Regeln für den Nachweis der Funktionsfähigkeit eines Systems strenger sind als bisher angenommen. Sie stellt fest, dass Validierung keine einmalige Prüfung ist, sondern ein kontinuierlicher Prozess, der sich parallel zu den Fähigkeiten des Systems entwickeln muss. Indem Entwickler die Geometrie dieser Grenzen verstehen, können sie Audits entwerfen, die die Zuverlässigkeit von KI-Systemen wirklich zertifizieren und sicherstellen, dass die von ihnen gelieferten Antworten nicht nur im Labor, sondern auch in der realen Welt vertrauenswürdig sind.