Exploring Agentic Workflows for Generating High Quality Math Visual Aids
Dieses Paper stellt einen agentischen Workflow vor, der es Large Language Models und Vision Language Models ermöglicht, durch die Verwendung selbst generierter Qualitätssicherungsfragen und visuellem Feedback iterativ hochwertige, pädagogisch fundierte mathematische Diagramme für die K-12-Bildung zu erzeugen und zu verfeinern, um aktuelle Einschränkungen in der räumlichen Vorstellungskraft und Genauigkeit zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine perfekte Karte einer Schatzinsel für eine Mittelstufenschule zu zeichnen. Sie geben dem Roboter eine detaillierte Beschreibung: „Zeichne eine Blume aus gelben Sechsecken, roten Trapezen und grünen Dreiecken.“ Doch als der Roboter Ihnen die Zeichnung überreicht, sind die Blütenblätter gequetscht, die Farben sind falsch oder die Formen fehlen völlig. Es ist, als würde man eine maßgeschneiderte Torte bestellen und einen schiefen Ziegelstein bekommen.
Genau das ist das Problem, das die Forscher Rizwaan Malik, Ashna Khetan, Isabel Sieh und Samin Khan angehen. Sie haben herausgefunden, dass selbst die klügsten KI-Tools (genannt Large Language Models oder LLMs) immer noch ziemlich ungeschickt beim Zeichnen dieser mathematischen Diagramme sind. Tatsächlich erreichten sie bei Tests mit mathematischen Problemen der Mittelstufe nur in 73,9 % der Fälle ein korrektes Ergebnis. Das ist zwar eine genügende Note, aber nicht gut genug, wenn jeder Schüler perfekt lernen soll.
Deshalb probierte das Team einen neuen Trick aus: Sie bauten ein „selbstverbesserndes Roboter-Team“. Anstatt die KI einfach nur einmal zeichnen zu lassen und auf das Beste zu hoffen, erschufen sie eine Schleife, in der die KI gleichzeitig wie eine strenge Kunstlehrerin, ein Detektiv und ein Maler agiert.
So läuft ihr „agentischer Workflow“ (ein schicker Begriff für ein Team von KI-Agenten, die zusammenarbeiten) ab:
- Der Maler: Zuerst zeichnet eine KI das Diagramm basierend auf Ihrer Beschreibung.
- Der Quizmaster: Als Nächstes schaut sich eine zweite KI (der QA-Generator) die Zeichnung an und erstellt einen Satz von vier offenen Fragen, um sie zu testen. Anstatt einfache „Ja/Nein“-Fragen wie „Ist das rot?“ zu stellen, fragt sie tiefergehende Fragen wie: „Wie hat der Code sichergestellt, dass die Aufhängestange perfekt horizontal ist?“
- Der Detektiv: Dann überprüft eine KI den Computercode, der verwendet wurde, um das Bild zu zeichnen, anhand dieser Fragen. Die Forscher fanden heraus, dass Standard-„Vision“-KIs eigentlich recht schlecht darin sind, komplexe Diagramme zu analysieren (sie zählen oft Gegenstände falsch oder werden durch den Raum verwirrt), also wechselten sie dazu, die KI die Code-Anweisungen lesen zu lassen, was viel zuverlässiger ist, um Fehler zu finden.
- Der Fixer: Wenn die Zeichnung die Prüfung nicht besteht, erhält die KI das Feedback und versucht, sie neu zu zeichnen. Sie durchläuft diesen Prozess in einer Schleife, bis die Zeichnung alle Tests besteht oder ihre Versuche aufgebraucht sind.
Die Forscher testeten diese Idee und fanden dabei einige interessante Dinge heraus. Als sie den „Detektiv“ sowohl das fertige Bild als auch den verwendeten Computercode betrachten ließen, stimmten menschliche Experten in 97 % der Fälle mit der KI überein. Das ist ein riesiger Sprung im Vergleich zum Betrachten nur des Bildes (68 %) oder nur des Codes (81 %). Es stellt sich heraus, dass das Betrachten des Bauplans hilft, Fehler besser zu erkennen.
Sie fanden auch heraus, dass offene Fragen viel besser funktionierten als einfache Ja/Nein-Fragen. Es ist, als würde man einem Schüler sagen: „Erkläre deine Argumentation“, anstatt nur zu fragen: „Hast du es gemacht?“
Das Team ist jedoch vorsichtig zu betonen, dass dies kein Zauberstab ist, der alles gelöst hat. In ihren Experimenten mussten selbst nachdem die KI versucht hatte, die Zeichnung einmal zu korrigieren, 70 % der Diagramme noch eine weitere Korrekturschleife durchlaufen. Und selbst nach zwei Runden der Korrektur stieg die durchschnittliche menschliche Bewertung der Zeichnungen auf einer 5-Punkte-Skala nur von 3,4 auf 3,7.
Das Team stieß auf einige spezifische Hürden. Versuchte die KI beispielsweise eine „balancierte Aufhängung“ (ein klassisches mathematisches Werkzeug) zu zeichnen, platzierte sie die hängenden Boxen auch nach dem Hinweis auf Korrektur immer noch ungleichmäßig. Die KI konnte den Fehler sehen, aber sie fand nicht den Weg, wie sie den Code ändern müsste, um die Abstände perfekt zu machen. Ähnlich hatte die KI manchmal Schwierigkeiten, die genaue Anzahl der Formen zu zählen oder zu prüfen, ob die Maße richtig waren, da sie immer noch etwas schlecht im „räumlichen Denken“ ist (dem Verständnis, wie Dinge im Raum zusammenpassen).
Die Forscher legen nahe, dass dieser „selbstverbessernde Kreislauf“ zwar ein vielversprechender Anfang ist, aber noch nicht bereit ist, menschliche Lehrer zu ersetzen. Sie argumentieren, dass zukünftige Systeme bessere Wege benötigen, um die richtigen Fragen zu stellen, sowie bessere „Augen“, um räumliche Beziehungen zu verstehen. Aber für den Moment zeigt dieser Ansatz: Wenn man der KI die Chance gibt, ihre eigene Arbeit zu überprüfen und es erneut zu versuchen, kann sie ein kleines bisschen besser darin werden, die Karten zu zeichnen, die Schüler brauchen, um sich durch die Mathematik zu navigieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.