GeoBuildBench: A Benchmark for Interactive and Executable Geometry Construction from Natural Language
Dieses Papier stellt GeoBuildBench vor, einen neuen Benchmark, der 489 chinesische Geometrieprobleme umfasst und die Fähigkeit multimodaler Agenten bewertet, ausführbare domänenspezifische Sprachprogramme zur Konstruktion geometrischer Diagramme aus natürlicher Sprache zu generieren, wobei trotz einer angemessenen Anfangsleistung erhebliche Herausforderungen in Bezug auf strukturelle Genauigkeit und Constraint-Erfüllung aufgedeckt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie lehren einen Roboter, wie man eine perfekte geometrische Form ausschließlich anhand einer gesprochenen Beschreibung zeichnet, wie zum Beispiel: „Zeichnen Sie ein Dreieck, bei dem eine Seite doppelt so lang ist wie die andere, und der Winkel an der Spitze 90 Grad beträgt."
Die meisten aktuellen KI-Modelle sind wie Schüler, die hervorragend darin sind, bei einem Multiple-Choice-Test die Antwort zu raten oder zu beschreiben, wie ein Bild aussieht. Doch diese Arbeit stellt eine neue Herausforderung vor, die GeoBuildBench genannt wird. Sie testet, ob eine KI tatsächlich Schritt für Schritt die Zeichnung erstellen kann, dabei strikten Regeln folgt und ihre eigenen Fehler korrigiert, wenn die Zeichnung falsch aussieht.
Hier ist eine Aufschlüsselung der Arbeit unter Verwendung einfacher Analogien:
1. Das Problem: Der „Magische Trick" versus der „Bauplan"
Früher forderten Forscher KI-Modelle auf, ein geometrisches Problem und ein Bild zu betrachten und dann einfach zu sagen: „Die Antwort ist 45 Grad." Die KI konnte oft die richtige Zahl erraten, indem sie Muster im Text oder im Bild erkannte, selbst wenn sie nicht wirklich verstand, wie die Form aufgebaut war.
GeoBuildBench verändert das Spiel. Anstatt nach einer Antwort zu fragen, fordert es die KI auf, wie ein Architekt zu agieren.
- Die Aufgabe: Die KI muss ein Computerprogramm (eine Reihe von Anweisungen) schreiben, um die Form von Grund auf neu zu erstellen.
- Der Haken: Die KI darf die Form nicht einfach nur „behaupten". Sie muss sie mit Hilfe einer speziellen, begrenzten Vokabulars (einer „domainspezifischen Sprache" oder DSL) physisch konstruieren.
- Die Analogie: Stellen Sie sich vor, Sie spielen ein „Lego"-Spiel, bei dem Sie nicht einfach sagen dürfen: „Bau einen Turm." Sie müssen spezifische Befehle geben: „Lege hier einen roten Stein, dann einen blauen Stein darauf." Wenn Sie versuchen, einen Stein in der Luft zu platzieren, sagt die Spiel-Engine: „Fehler! Dieser Stein existiert noch nicht."
2. Die Umgebung: Der „Strenge Lehrer"
Die Forscher schufen einen digitalen Spielplatz, auf dem die KI versucht, diese Formen zu bauen.
- Die Schleife: Die KI schreibt eine Reihe von Anweisungen -> Der Computer versucht, sie zu bauen -> Der Computer prüft, ob die Form gültig ist.
- Das Feedback: Wenn die KI versucht, eine Linie zu zeichnen, die mit nichts verbunden ist, oder wenn sie vergisst, einen geforderten Kreis zu zeichnen, sagt der Computer sofort: „Sie haben einen Kreis vergessen!" oder „Sie haben versucht, zwei Linien zu verbinden, die parallel sind und sich niemals treffen werden!"
- Das Ziel: Die KI muss weiter versuchen, das Feedback zu lesen und ihre Anweisungen umzuschreiben, bis die Form perfekt ist.
3. Der Datensatz: 489 „Schulbuch"-Rätsel
Das Team erstellte einen Benchmark mit 489 geometrischen Problemen, die aus chinesischen Mathematik-Lehrbüchern stammen.
- Der Filter: Sie waren sehr sorgfältig darauf bedacht, Probleme zu entfernen, die darauf angewiesen waren, ein Bild zu betrachten, um den Text zu verstehen (z. B. „Wie in Abbildung 1 gezeigt, ist Winkel A..."). Sie behielten nur Probleme, bei denen der Text allein genügend Informationen zur Erstellung der Form lieferte.
- Die Vielfalt: Die Probleme reichen von „Sehr Einfach" (Stufe 1) bis „Schwer" (Stufe 4) und umfassen Dreiecke, Kreise und komplexe Winkel.
4. Die Ergebnisse: Die „Halluzinationen" der KI
Die Forscher testeten mehrere hochmoderne KI-Modelle (wie GPT-5.1, Gemini und andere) in dieser Umgebung. Hier ist, was sie fanden:
- Die gute Nachricht: Die intelligentesten Modelle (GPT-5.1 und Gemini) lösten etwa 75–79 % der Probleme richtig. Sie konnten oft die korrekte Form erstellen.
- Die schlechte Nachricht: Selbst die besten Modelle hatten Schwierigkeiten mit strukturellen Halluzinationen.
- Was ist hier eine Halluzination? Es ist, wenn die KI eine Anweisung wie „Zeichnen Sie eine Linie, die Punkt X und Punkt Y verbindet" schreibt, aber Punkt X oder Punkt Y zuvor in den Anweisungen nie tatsächlich erstellt hat. Es ist wie ein Koch, der sagt: „Fügen Sie die geheime Sauce hinzu", ohne jemals die Sauce hergestellt zu haben.
- Das Problem der „undefinierten Referenz": Der häufigste Fehler war die Referenzierung von Objekten, die noch nicht existierten. Die KI vergaß zu verfolgen, was sie bereits gebaut hatte.
- Das Problem der Erholung: Wenn der Computer der KI sagte: „Sie haben einen Fehler gemacht", konnten die intelligentesten Modelle dies schnell korrigieren (normalerweise in 1 oder 2 Versuchen). Die schwächeren Modelle machten denselben Fehler immer wieder und waren nicht in der Lage, aus dem Feedback zu lernen.
5. Die „Visuelle" Überraschung
Die Forscher testeten, was passierte, wenn sie der KI ein Bild der Form zeigten, die sie gerade erstellte (visuelles Feedback).
- Das Ergebnis: Es war ein gemischtes Bild. Bei einigen Modellen half es, das Bild zu sehen, bessere Ideen zu entwickeln, aber es verwirrte sie auch mehr darüber, welche spezifischen Punkte sie bereits gezeichnet hatten. Es ist wie einem Maler einen Spiegel zu geben: Er mag seinen Fehler sehen, aber er könnte auch abgelenkt werden und vergessen, welchen Pinsel er gerade hielt.
6. Die Schlussfolgerung: „Plausibel" ist nicht „Korrekt"
Die Hauptaussage ist, dass richtig aussehen nicht dasselbe ist wie richtig sein.
- Eine KI kann ein Bild generieren, das für das menschliche Auge wie ein Dreieck aussieht, aber wenn der Computer die Mathematik prüft, treffen sich die Linien möglicherweise nicht wirklich, oder die Winkel sind falsch.
- GeoBuildBench beweist, dass KI zwar gut darin wird, über Geometrie zu sprechen, aber immer noch Schwierigkeiten hat, Geometrie auf eine strenge, schrittweise und fehlerfreie Weise zu machen. Es hebt eine Lücke zwischen dem „Raten der Antwort" und dem „Bauen der Wahrheit" hervor.
Kurz gesagt: Diese Arbeit hat einen strengen „Führerschein-Test" für KI-Geometrie-Kenntnisse entwickelt. Sie ergab, dass zwar einige KI-Fahrer ihr Ziel erreichen können, viele von ihnen jedoch immer noch falsche Abzweigungen nehmen, vergessen, in ihre Spiegel zu schauen, und gelegentlich gegen Wände fahren, selbst wenn sie so aussehen, als wüssten sie, wohin sie fahren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.