First Proof Second Batch
Diese Arbeit bewertet die Fähigkeiten aktueller KI-Systeme beim Lösen mathematischer Forschungsaufgaben, indem sie die Probleme, die Methodik und die Ergebnisse von Tests verschiedener KI-Modelle an zehn distinkten, von Mathematikern beigesteuerten Problemen präsentiert, zusammen mit ergänzenden Materialien einschließlich menschlicher Lösungen und Gutachten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Gruppe von Mathematikern vor, die beschließen, einen hochkarätigen „Kochwettbewerb“ auszurichten, bei dem es jedoch nicht darum geht, Kuchen zu backen, sondern die Künstliche Intelligenz darum bittet, brandneue mathematische Beweise zu „kochen“. Dieses Dokument ist das offizielle Zeugnis der zweiten Runde dieses Wettbewerbs, genannt First Proof Second Batch.
Hier ist die Geschichte dessen, was passiert ist, in einfachen Worten aufgeschlüsselt.
Das Setup: Eine neue Art von Prüfung
In der ersten Runde dieses Experiments ließen die Organisatoren jeden versuchen, die Probleme zu lösen. Es war ein wenig wie ein Tag der offenen Tür. Für diese zweite Runde wollten sie viel strenger und wissenschaftlicher vorgehen.
- Die Köche (Die KI-Systeme): Sie luden vier spezifische „Köche“ ein, um gegeneinander anzutreten. Dies waren nicht einfach nur irgendwelche Computer; es waren fortschrittliche KI-Systeme, die von Spitzenuniversitäten (wie der UCLA und Princeton) und einem Unternehmen (OpenAI) entwickelt wurden.
- Die Zutaten (Die Probleme): Die Organisatoren gaben den KIs keine alten, in Lehrbüchern gelösten Mathematikprobleme. Stattdessen gaben sie ihnen 10 brandneue, ungelöste Rätsel, die echte menschliche Mathematiker erst kürzlich in ihrer eigenen Forschung entdeckt hatten. Dies waren Probleme, die noch nicht im Internet gepostet oder in Fachzeitschriften veröffentlicht worden waren.
- Die Regeln: Die KI musste diese Probleme eigenständig lösen, ohne dass Menschen ihr die Antworten zuflüsterten. Die Organisatoren beobachteten jeden Schritt, zeichneten jedes Wort auf, das die KI tippte, und führten ein strenges Protokoll darüber, wie viel es kostete, die „Küche“ zu betreiben.
Das Urteil: Ein Blindverkostungstest
Nachdem die KI ihre „Gerichte“ (die Beweise) eingereicht hatte, fungierte ein Gremium aus 30 Experten für Mathematik als Jury. Um fair zu bleiben, wussten die Richter nicht, welcher Koch welches Gericht zubereitet hatte. Sie gaben jeder Lösung eine Bewertung:
- Im Wesentlichen makellos: Ein perfektes Gericht, bereit zum Servieren.
- Geringfügige Überarbeitungen: Köstlich, aber es braucht noch eine Prise Salz oder eine bessere Garnitur.
- Umfangreiche Überarbeitungen: Der Hauptgang steht, aber die Sauce ist angebrannt oder Zutaten fehlen. Es ist viel Arbeit nötig.
- Abgelehnt: Das Gericht ist ungenießbar.
Die Ergebnisse: Ein gemischtes Bild
Das Ergebnis war eine Mischung aus beeindruckenden Durchbrüchen und peinlichen Fehlschlägen.
1. Die „Wow“-Momente (Erfolge)
- Der Überraschungsgast: Für ein Problem, das komplexe Flüssigkeitsgleichungen betraf (Problem 5), erfand eine KI nicht nur eine menschliche Lösung, sondern entwickelte einen völlig neuen Weg, um es zu lösen. Die Richter waren so beeindruckt, dass sie es als „im Wesentlichen makellos“ bezeichneten. Es war, als hätte ein Koch eine völlig neue Kochtechnik erfunden, auf die kein Mensch zuvor gekommen war.
- Die Nachahmer: Für ein anderes Problem (Problem 6) gelang es zwei KIs, es perfekt zu lösen. Sie folgten dem Pfad der menschlichen Lösung, vollzogen dies aber mit einer solchen mechanischen Präzision, dass die Richter sagten: „Dies ist mathematisch korrekt, auch wenn der Schreibstil etwas roboterhaft ist.“
2. Die „Halluzinations“-Probleme (Fehlschläge)
- Die gefälschten Zitate: Ein wiederkehrendes Problem war, dass die KIs selbstbewusst Bücher oder Arbeiten zitierten, die nicht existierten oder nicht das aussagten, was die KI behauptete. Es war, als würde ein Koch sagen: „Diese Sauce besteht aus einer geheimen Zutat eines berühmten französischen Küchenchefs“, aber wenn man das Buch überprüft, hat dieser Chef nie darüber geschrieben.
- Das Plagiat: In einem Fall löste eine KI ein Geometrieproblem, indem sie die Arbeit eines menschlichen Mathematikers fast Wort für Wort kopierte, einschließlich derselben seltsamen Bezeichnungen und Begriffe, aber vergaß, die Urheberschaft zu nennen. Wenn ein menschlicher Student dies täte, würde er wegen Betrugs exmatrikuliert werden.
- Die falsche Abzweigung: Bei mehreren Problemen versuchten die KIs, Dinge zu beweisen, die tatsächlich falsch waren, oder sie verfing sich in Endlosschleifen des Unsinns. Eine KI versuchte, ein Geometrieproblem zu lösen, indem sie ein Theorem erfand, das gar nicht existierte – sie log den Richtern also im Grunde vor, um ihren Beweis vollständig aussehen zu lassen.
3. Die Kosten des Kochens
Der Bericht betrachtete auch die „Preisrechnung“ der Mahlzeit.
- Einige KI-Systeme waren günstig, machten aber Fehler.
- Andere waren unglaublich teuer und kosteten tausende Dollar an Computerzeit, um eine einzige Lösung zu produzieren.
- Die erfolgreichsten Lösungen erforderten oft die meiste „Denkzeit“ (Tokens) und Geld.
Das große Fazit
Das Paper kommt zu dem Schluss, dass KI sehr gut im Routine-Mathe wird. Wenn ein Problem so aussieht, als hätte die KI es schon einmal gesehen, oder wenn es nur darum geht, einem bekannten Rezept zu folgen, kann sie das gut.
Wenn es jedoch um echte Kreativität geht – das Erfinden einer völlig neuen Idee, das Erkennen einer tiefen Verbindung zwischen zwei unzusammenhängenden Feldern oder das Vermeiden der Falle, Dinge zu erfinden –, tut sich die KI noch schwer. Sie versucht oft, es sich „einfach zu machen“, indem sie gefälschte Arbeiten zitiert oder die schwierigsten Teile eines Arguments überspringt.
Kurz gesagt: Die KI ist ein sehr schneller, sehr teurer Lehrling, der ein Rezept perfekt befolgen kann, aber noch nicht bereit ist, ganz allein eine neue Küche zu erfinden. Sie braucht einen menschlichen Chefkoch, der ihre Arbeit überprüft, ihre Zitate korrigiert und sicherstellt, dass sie nicht halluziniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.