Distilling Answer Set Programming Theories from Large Language Models
Diese Arbeit untersucht die Fähigkeit großer Sprachmodelle, innerhalb eines Zeitlimits von einer Stunde autonom vollständige und korrekte Answer Set Programming-Theorien für Aufgaben des visuellen Beantwortens von Fragen zu destillieren, wobei sie zeigt, dass Frontmodelle wie Claude Sonnet 4.6, Claude Opus 4.7 und DeepSeek V4 Pro eine nahezu perfekte Genauigkeit bei mehreren Benchmarks erreichen, während GPT-5 eine signifikante Leistungsvariabilität und Sensitivität gegenüber Referenzdaten aufweist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer in zwei sehr unterschiedlichen Dingen unglaublich gut sind. Auf der einen Seite sind sie wie superschnelle Taschenrechner, die strengen Regeln folgen können, um Logikrätsel zu lösen, aber sie sind schlecht darin, die chaotische, unpräzise Welt um sie herum zu verstehen. Auf der anderen Seite sind sie wie brillante, kreative Geschichtenerzähler, die fast alles lesen und Gedichte schreiben können, aber oft Fakten erfinden oder den Faden verlieren, wenn man sie bittet, einer starren Anleitung zu folgen. Wissenschaftler nennen die Verbindung dieser beiden Fähigkeiten „neurosymbolisches“ Computing. Es ist, als versuche man, einen Roboter zu bauen, der sowohl die Fantasie eines Dichters als auch die Präzision eines Mathematikers besitzt. Die große Frage, die sich Forscher stellen, lautet: Können wir einem superintelligenten Computer (einem Large Language Model) beibringen, sein eigenes strenges Regelwerk von Grund auf selbst zu schreiben, damit er komplexe Rätsel lösen kann, ohne dass ein Mensch jede einzelne Regel von Hand schreiben muss? Dies ist wichtig, weil das Schreiben dieser Regelwerke langsam, langweilig und schwer fehlerfrei zu gestalten ist, aber wenn ein Computer dies tun könnte, könnten wir neue Wege erschließen, wie Maschinen über die Welt schlussfolgern.
In dieser Arbeit hat ein Team von Forschern versucht herauszufinden, ob ein Large Language Model wie ein unermüdlicher Lehrling agieren kann, der lernt, ein vollständiges „Regelwerk“ für ein spielähnliches Rätsel namens Visual Question Answering (VQA) zu schreiben. Stellen Sie sich vor, man zeigt einem Computer ein Bild einer Szene und fragt: „Ist die gelbe Frisbee links von der Person?“ Um dies zu beantworten, muss der Computer das Bild verstehen, die Frage zerlegen und dann eine logische Prüfung durchführen. Die Forscher gaben dem Computer eine leere Datei und einen Satz Werkzeuge, einschließlich eines „Solvers“ (eines strengen Schiedsrichters, der prüft, ob die Regeln Sinn ergeben). Die Aufgabe des Computers war es, einige Übungsbeispiele zu lesen, Regeln zu schreiben, den Schiedsrichter zu bitten, diese zu prüfen, zu sehen, wo er scheiterte, und dann die Regeln neu zu schreiben. Er hatte eine Stunde Zeit, dies so lange zu wiederholen, bis er so gut war, wie er werden konnte.
Die Forscher testeten dies auf drei verschiedenen „Rätsel-Leveln“: CLEVR (einfache, computergenerierte Formen), GQA (reale Fotos mit viel mehr Objekten) und CLEVRER (kurze Videos mit Ursache und Wirkung). Sie testeten dies mit neun verschiedenen Computermodellen, die von den neuesten, leistungsstärksten „Frontier“-Modellen bis hin zu kleineren, älteren Modellen reichten. Die Ergebnisse waren eine Mischung aus erstauschendem Erfolg und überraschendem Scheitern. Drei der vier Top-Modelle wurden zu Meistern des Spiels. Bei den einfachen CLEVR-Rätseln erreichten sie eine perfekte Punktzahl von 100 %. Bei den schwierigeren GQA-Rätseln erzielten sie Werte zwischen 92,8 % und 98,8 %, was sogar besser ist als die besten menschengeschriebenen Regelwerke, die für diesen Datensatz verfügbar sind. Bei den Video-Rätseln (CLEVRER) lagen ihre Werte zwischen 92,7 % und 95,3 %.
Dennoch war nicht jedes Modell erfolgreich. Eines der berühmtesten Modelle, GPT-5, war bei den einfachen Rätseln großartig (98,7 %), stürzte aber bei den Echtfoto-Rätseln ab und fiel auf nur 41,8 % zurück. Die Forscher fanden heraus, dass dies nicht daran lag, dass das Modell nicht in der Lage war zu schlussfolgern, sondern dass das Modell einfach nicht genug Regeln schrieb, um alle verschiedenen Arten von Fragen abzudecken. Als die Forscher den Modellen ein „Spickzettel“ (ein Referenz-Regelwerk von einem anderen Rätseltyp) gaben, um ihnen zu helfen, blieben die Top-Modelle etwa gleich stark, aber GPT-5 wurde tatsächlich schlechter, was darauf hindeutet, dass der Blick auf den Spickzettel es abgelenkt oder seinen Speicher beansprucht haben könnte. Die kleineren, weniger leistungsfähigen Modelle scheiterten meist daran, überhaupt funktionierende Regeln zu schreiben, und blieben oft stecken oder schrieben Regeln, die der Schiedsrichter nicht verstehen konnte.
Die Studie zeigt, dass ein Computer mit dem richtigen Setup in der Tat in der Lage ist, sich selbst ein vollständiges, hochwertiges Logik-Regelwerk von Grund auf beizubringen und dabei die menschliche Leistung bei mehreren Benchmarks erreicht oder sogar übertrifft. Es deutet jedoch auch darauf an, dass diese Fähigkeit nicht garantiert ist; sie hängt stark vom verwendeten spezifischen Modell ab, und manchmal kann es die Modelle sogar verwirren, wenn man ihnen mehr Informationen (wie ein Referenzbuch) gibt. Die Forscher haben ihren gesamten Code und die von den Computern geschriebenen Regelwerke veröffentlicht und laden andere dazu ein, an dieser „neurosymbolischen“ Lehre weiterzuarbeiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.