FormalTCS: Benchmarking End-to-End Frontier Formal Theoretical Computer Science Research of Large Language Models
Das Papier stellt FormalTCS vor, einen durch Experten validierten Benchmark unter Verwendung von bahnbrechender TCS-Forschung aus den Jahren 2025–2026, um aufzuzeigen, dass aktuelle große Sprachmodelle signifikante Schwierigkeiten mit der vollautomatisierten Forschung haben, was primär auf schwerwiegende Einschränkungen bei der Autoformalisierung und der Fähigkeit zur Generierung neuartiger, hochwertiger mathematischer Behauptungen zurückzuführen ist.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die theoretische Informatik ist die Lehre davon, wie Informationen verarbeitet werden und welche fundamentalen Grenzen der Berechenbarkeit existieren. Sie ist das Fundament der modernen Technologie und liefert die mathematischen Regeln, die bestimmen, welche Probleme von Maschinen gelöst werden können und wie effizient sie gelöst werden können. Seit Jahrzehnten stützt sich dieses Feld auf menschliche Mathematiker, die präzise Definitionen entwerfen, logische Argumente konstruieren und beweisen, dass ihre Schlussfolgerungen unerschütterlich sind. Vor kurzem ist eine neue Art von Werkzeug entstanden: große Sprachmodelle. Dies sind Systeme der künstlichen Intelligenz, die auf riesigen Mengen von Text trainiert wurden und in der Lage sind, über komplexe Themen zu lesen, zu schreiben und zu argumentieren. Da diese Systeme immer leistungsfähiger werden, haben Forscher begonnen, sich die Frage zu stellen, ob sie mehr können als nur Fragen zu beantworten oder Texte zusammenzufassen. Könnten sie tatsächlich eigenständig wissenschaftliche Forschung betreiben, neue Wahrheiten über die Berechnung entdecken und diese mit derselben Strenge beweisen wie ein menschlicher Experte?
Ein Team von Forschern des Harbin Institute of Technology hat sich auf die Beantwortung dieser Frage gemacht, indem es ein neues Testfeld namens FORMALTCS entwickelte. Sie wollten über einfache Quizfragen oder Lehrbuchübungen hinausgehen und prüfen, ob diese künstlichen Intelligenzen in der Lage sind, mit der unordentlichen, schwierigen Realität der Spitzenforschung umzugehen. Zu diesem Zweck sammelten sie 175 reale Forschungsprobleme aus den renommiertesten Konferenzen des Fachbereichs, die Themen wie Algorithmen, Komplexität und maschinelles Lernen abdeckten. Dies waren keine erfundenen Probleme; es handelte sich um die tatsächlichen Kernerkenntnisse aus Papieren, die 2025 und 2026 angenommen wurden. Die Forscher arbeiteten anschließend mit menschlichen Experten zusammen, um diese Entdeckungen in ein Format zu übersetzen, das ein Computer verifizieren konnte, wodurch sie einen strengen Standard schufen, an dem die künstliche Intelligenz gemessen werden konnte.
Die Ergebnisse dieses Experiments offenbarten eine deutliche Kluft zwischen dem, was diese Modelle verstehen können, und dem, was sie tatsächlich leisten können. Wenn die Forscher die Modelle baten, eine hochgradig zusammenfassende Darstellung eines Forschungsergebnisses zu lesen und die zugrunde liegende Logik in einfacher Sprache zu erklären, schnitten die Modelle recht gut ab. Sie konnten das große Ganze erfassen und die Strategie eines Beweises mit angemessener Genauigkeit beschreiben. Sobald sich die Aufgabe jedoch dahingehend änderte, diese Ideen in eine formale, mathematische Sprache zu übersetzen, die ein Computer überprüfen kann, stießen die Modelle an eine Grenze. Dieser Prozess, bekannt als Autoformalisierung, ist der Schritt, bei dem ein menschlicher Forscher eine vage Idee in einen präzisen Satz von Regeln und Definitionen überträgt. In dieser kritischen Phase gelang es den besten Modellen der künstlichen Intelligenz nur in etwa 11,5 Prozent der Fälle. Im Gegensatz dazu konnten die Modelle den endgültigen Beweis in etwa 28,6 Prozent der Fälle konstruieren, wenn die Forscher ihnen die präzisen mathematischen Definitionen zur Verfügung stellten.
Diese Lücke deutet darauf einerseits darauf hin, dass das primäre Hindernis für künstliche Intelligenz in diesem Bereich nicht die Fähigkeit ist, einem vorgegebenen logischen Pfad zu folgen, sondern die Fähigkeit, den Pfad selbst zu bauen. Die Modelle haben Schwierigkeiten, eine Beschreibung eines Problems in natürlicher Sprache in die spezifischen, eindeutigen Definitionen zu übersetzen, die für die Verifizierung der Lösung durch einen Computer erforderlich sind. Es ist, als könnten die Modelle eine Karte lesen und das Ziel verstehen, aber sie können die Karte selbst nicht zeichnen. Darüber hinaus zeigten die Ergebnisse ein noch deutlicheres Bild, als die Forscher ein System entwickelten, das es den Modellen ermöglichte, eigene neue Forschungsideen von Grund auf zu generieren. Von 64 durch das System generierten neuen Behauptungen wurden nur sechs von menschlichen Experten als neuartig und wertvoll genug eingestuft, um es wert zu sein, verfolgt zu werden. Der Rest war entweder zu ähnlich bestehender Arbeiten, mangelte an echter Bedeutung oder konnte schlichtweg nicht bewiesen werden.
Die Studie kommt zu dem Schluss, dass diese Systeme der künstlichen Intelligenz zwar immer besser darin werden, die theoretische Informatik zu verstehen und darüber zu diskutieren, sie aber noch weit davon entfernt sind, eigenständige Forschung zu betreiben. Es fehlt ihnen an dem „Geschmack“ oder der Intuition, die erforderlich ist, um zu identifizieren, welche neuen Ideen es wirklich wert sind, untersucht zu werden, und sie kämpfen mit der präzisen Übersetzung von Ideen in formale Regeln. Der Weg zu einer vollautonomen wissenschaftlichen Entdeckung in diesem Bereich erfordert die Lösung zweier unterschiedlicher Probleme: die Verbesserung der Fähigkeit, Ideen in eine rigorose mathematische Sprache zu übersetzen, und die Entwicklung eines tieferen Verständnisses dafür, was eine Forschungsidee wertvoll macht. Bis diese Hürden überwunden sind, wird die Rolle der künstlichen Intelligenz in diesem Feld die einer leistungsstarken Assistentin statt die einer unabhängigen Forscherin bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.