ALPS: Measuring Valid Creativity in Large Language Models with Mathematical Construction
Das Papier stellt ALPS vor, einen neuartigen Benchmark, der die valide Kreativität großer Sprachmodelle rigoros misst, indem er sie dazu aufgibt, originäre, verifizierbare mathematische Beweise oder Konstruktionen für zufällig generierte Gleichungsgesetze zu erstellen, was offenlegt, dass aktuelle Modelle erheblich mit der Konstruktionsseite kämpfen und die meisten Instanzen selbst von fortgeschrittenen automatisierten Beweisern ungelöst bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen wissenschaftlichen Landschaft hat die künstliche Intelligenz begonnen, aus der Rolle des Datenverarbeiters in die Rolle des Entdeckers zu schlüpfen. Wir erleben Maschinen, die neue chemische Verbindungen vorschlagen, neuartige Materialien entwerfen und sogar mathematische Vermutungen formulieren können, die Menschen bisher noch nicht in Betracht gezogen haben. Dieser Wandel wirft eine tiefgreifende Frage auf: Wenn eine Maschine eine Antwort liefert, die wie ein Durchbruch aussieht, woher wissen wir, dass sie wirklich kreativ ist und nicht nur eine geschickte Wiederholung dessen, was sie während ihres Trainings auswendig gelernt hat? Wahre Kreativität in der Wissenschaft erfordert zwei Dinge: Die Lösung muss originell sein, das heißt, sie darf zuvor noch nicht gesehen worden sein, und sie muss effektiv sein, das heißt, sie muss tatsächlich funktionieren und das vorliegende Problem lösen. Die Schwierigkeit liegt in der Verifizierung dieser Qualitäten. In vielen Bereichen erfordert das Urteil darüber, ob eine neue Idee gültig ist, dass menschliche Experten das Ergebnis betrachten und entscheiden, ob es gut ist – ein Prozess, der langsam und subjektiv ist. In der Mathematik, wo Antworten mit absoluter Gewissheit überprüft werden können, ist die Herausforderung eine andere: Die Probleme sind oft so komplex, dass ein Computer nicht einfach alle Möglichkeiten durchsuchen kann, um die Antwort zu finden, und die Probleme selbst sind oft feste Mengen, die die Maschine möglicherweise bereits studiert hat.
Um dieses Dilemma zu lösen, haben Forscher der University of Virginia einen neuen Weg entwickelt, um künstliche Intelligenz zu testen, einen Benchmark, den sie ALPS nennen. Dieses System ist darauf ausgelegt, „valide Kreativität“ zu messen, indem es die Maschine mit einer spezifischen Art von mathematischem Rätsel konfrontiert, das nicht durch Gedächtnis oder das Befolgen einer Standardroutine gelöst werden kann. Die Rätsel basieren auf Regeln dafür, wie eine Menge von Objekten kombiniert werden können. Stellen Sie sich eine Sammlung von Objekten und eine Regel vor, wie man zwei von ihnen miteinander vermischt. Die Forscher generieren eine spezifische Regel oder ein Gesetz, das beschreibt, wie sich diese Objekte verhalten müssen. Die Aufgabe der Maschine ist es, eines von zwei Dingen zu entscheiden: Entweder ist die Regel so restriktiv, dass sie erzwingt, dass alle Objekte identisch sind, oder die Regel erlaubt eine komplexe, unendliche Struktur von Objekten, die die Bedingung erfüllt. Wenn die Maschine behauptet, dass die Struktur existiert, muss sie eine Beschreibung davon erstellen. Wenn sie behauptet, dass die Objekte identisch sein müssen, muss sie beweisen, dass keine andere Möglichkeit existiert. Die Brillanz dieses Aufbaus liegt darin, dass die Antworten von einem Computer mit perfekter Genauigkeit überprüft werden können, ohne dass ein Mensch das Ergebnis betrachten muss. Darüber hinaus kann das System eine endlose Anzahl dieser Rätsel generieren, was sicherstellt, dass die Maschine immer mit einem Problem konfrontiert wird, das sie noch nie zuvor gesehen hat.
Die Forscher testeten dieses System mit einer Vielzahl leistungsstarker automatisierter Reasoning-Tools, bei denen es sich um spezialisierte Computerprogramme handelt, die darauf ausgelegt sind, logische Probleme zu lösen. Sie ließen diese Tools gegen einen Pool von über viertausend dieser generierten Gesetze antreten. Die Ergebnisse waren drastisch. Selbst mit einer massiven Steigerung der Rechenleistung konnten die automatisierten Tools nur einen winzigen Bruchteil der Probleme lösen. Konkret bewältigte ein Portfolio aus acht verschiedenen Konfigurationen der besten verfügbaren Prover nur etwa zwei Prozent der Gesetze. Als die Forscher das Rechenbudget um das Zwanzigfache erhöhten, fanden sie nur eine Handvoll zusätzlicher Lösungen, und keine von ihnen waren die komplexen Strukturen, nach denen sie suchten; es waren lediglich Beweise, dass die Objekte identisch sein mussten. Dies deutet darauf hin, dass die Barriere für die Lösung dieser Probleme nicht ein Mangel an Rechenleistung ist, sondern ein Mangel an einer Methode, um die spezifischen, maßgeschneiderten Strukturen zu erfinden, die jedes einzigartige Gesetz erfordert. Die Maschine weiß schlichtweg nicht, wie sie die richtige Art von unendlicher Struktur von Grund auf neu erschafft.
Die Forscher wandten sich daraufhin großen Sprachmodellen zu, dem Typ der künstlichen Intelligenz, der viele der heute verwendeten konversationellen Werkzeuge antreibt. Sie testeten die stärksten verfügbaren Reasoning-Modelle und gaben ihnen dieselben Rätsel und dieselbe Chance, ihre Antworten zu beweisen. Auf der Seite der Aufgabe, auf der die Maschine beweisen musste, dass alle Objekte identisch sind, war das beste Modell in etwa vierzehn Prozent der Fälle erfolgreich, jedoch nur bei den einfacheren Problemen. Auf der Seite, auf der die Maschine eine neue, unendliche Struktur konstruieren musste, waren die Ergebnisse noch aufschlussreicher: Keines der Modelle war erfolgreich. Wenn die Modelle versuchten, eine Struktur aufzubauen, scheiterten sie konsistent auf eine von zwei Arten: Entweder schlugen sie eine Struktur vor, die zu starr war, wodurch alle Objekte zu einem einzigen Punkt kollabierten und somit scheiterten, eine komplexe Lösung aufzuzeigen, oder sie schlugen eine Struktur vor, die zu locker war und die Regeln des Gesetzes, das sie zu erfüllen versuchten, nicht befolgte. In jedem Fall konnte die Maschine das Gleichgewicht zwischen der Einhaltung der Regeln und der Notwendigkeit, etwas Neues und Komplexes zu erschaffen, nicht halten.
Die Studie kommt zu dem Schluss, dass diese Systeme der künstlichen Intelligenz zwar besser darin werden, Anweisungen zu befolgen und ihre eigene Arbeit zu überprüfen, sie aber immer noch mit dem Kernakt der wissenschaftlichen Entdeckung kämpfen: dem Erfinden einer neuen Struktur, die einem Satz von Bedingungen entspricht. Die Forscher haben ihr gesamtes System, einschließlich des Generators, der die Rätsel erstellt, und des automatisierten Richters, der die Antworten prüft, der Öffentlichkeit zugänglich gemacht. Dies ermöglicht es anderen Wissenschaftlern, diese Modelle weiter zu testen und zu verbessern, ohne dass ihnen frische Probleme ausgehen. Die Ergebnisse legen nahe, dass der Weg nach vorn für KI in der Wissenschaft nicht darin bestehen könnte, den Maschinen mehr Daten oder mehr Zeit zu geben, sondern ihnen beizubringen, wie sie ihre eigenen Ideen in einer Schleife aus Kreation und Verifikation vorschlagen und verfeinern. Bis Maschinen in der Lage sind, diese maßgeschneiderten Lösungen zuverlässig zu konstruieren, wird ihre Rolle in der wissenschaftlichen Entdeckung begrenzt bleiben, unfähig, die Lücke zwischen der Verarbeitung von Informationen und der Generierung wahrhaft valider, origineller Erkenntnisse zu überbrücken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.