Investigating LLM's Problem Solving Capability -- a Study on Statics Questions
Diese Studie bewertet die Fähigkeiten großer Sprachmodelle bei der Lösung von Aufgaben der Statik durch einen Modell-Destillationsansatz und zeigt auf, dass sie bei rein textbasierten Fragen zwar gut abschneiden, ihre Genauigkeit jedoch signifikant sinkt, wenn Diagramme und mehrstufige Argumentationen erforderlich sind, was auf Herausforderungen bei der konsistenten Anwendung visueller Informationen statt auf Einschränkungen der Bilderkennung zurückzuführen ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Studenten namens „ChatGPT“, der fast jedes Buch in der Bibliothek gelesen hat. Sie möchten testen, ob dieser Student tatsächlich schwierige Hausaufgaben aus dem Ingenieurwesen lösen kann, speziell in einem Fach namens Statik (bei dem es darum geht, wie Kräfte an unbeweglichen Objekten, wie Brücken oder Kränen, im Gleichgewicht bleiben).
So sind die Forscher vorgegangen, einfach erklärt:
1. Das „Copy-Paste“-Problem
Zuerst versuchten die Forscher das Offensichtliche: Sie nahmen echte Fragen aus Lehrbüchern und baten ChatGPT, diese zu lösen.
- Das Ergebnis: Es war ein Desaster. Der Student wurde verwirrt, besonders wenn die Aufgaben 3D-Zeichnungen enthielten. Er vertauschte Richtungen (wie etwa „oben“ zu sagen, wenn eigentlich „rechts“ gemeint war) und berechnete die Mathematik falsch.
- Die Analogie: Es war, als würde man einem Studenten eine Karte zeigen, die in einer Sprache geschrieben ist, die er kaum beherrscht. Er kannte zwar die Wörter, konnte aber nicht die Richtungen bestimmen.
2. Der „Reverse Engineering“-Trick (Modell-Destillation)
Da die Fragen aus den Lehrbüchern zu schwer waren, versuchten die Forscher einen cleveren Trick namens Modell-Destillation. Anstatt den Studenten zu bitten, andere Fragen zu lösen, baten sie ihn, seine eigenen Fragen zu schreiben.
- Die Logik: Sie dachten sich: „Wenn ChatGPT eine gute Frage formulieren kann, kann es wahrscheinlich auch die Antwort auf diese spezifische Art von Frage wissen, weil es diese aus seinen eigenen Trainingsdaten ‚gelernt‘ hat.“
- Der Prozess: Sie baten ChatGPT, 50 Statik-Aufgaben zu erstellen. Dabei bemerkten sie, dass der Student immer wieder dieselben einfachen, 2D-Aufgaben (flach) schrieb. Also wählten sie die besten 25 einzigartigen Fragen aus, die ChatGPT offenbar gut zu verstehen schien.
3. Die drei Ebenen des Tests
Die Forscher erstellten unter Verwendung dieser 25 Fragen drei verschiedene „Prüfungen“, um zu sehen, wie das Gehirn des Studenten funktioniert:
- Prüfung A (Nur Text): Sie baten ChatGPT, die von ihm selbst geschriebenen Fragen zu lösen, wobei nur Text verwendet wurde.
- Ergebnis: Perfektes Ergebnis (100 %). Der Student kannte die Antworten, weil er die Fragen selbst geschrieben hatte!
- Prüfung B (Mit Bildern): Sie nahmen dieselben textbasierten Fragen aus Prüfung A und zeichneten einfache Diagramme dazu.
- Ergebnis: Die Punktzahl sank auf 68 %. Der Student konnte die Texte zwar immer noch lesen, aber das Bild brachte ihn aus der Fassung. Er hatte Schwierigkeiten, die Zeichnung mit der Mathematik zu verknüpfen.
- Prüfung C (Der „Neue Zahlen“-Test): Sie nahmen die Diagramme aus Prüfung B und änderten alle Zahlen (z. B. eine Kraft von 10 lbs auf 15 lbs).
- Ergebnis: Die Punktzahl sank auf 60 %. Dies bewies, dass der Student nicht einfach nur die Antworten auswendig lernte. Er versuchte, die Aufgabe frisch zu lösen, machte aber im Verlauf des Prozesses Fehler.
4. Was haben sie gelernt?
Die Forscher verglichen ChatGPT mit einem anderen KI-Studenten namens „Gemini“.
- Die große Entdeckung: Das Problem war nicht, dass die KI die Bilder nicht „sehen“ konnte. Das Problem war, dass sie nicht in Schritten denken konnte.
- Die Analogie: Stellen Sie sich einen Koch vor, der ein Rezept perfekt lesen kann (Nur-Text). Wenn Sie ihm die Zutaten und ein Bild des Gerichts geben (Diagramm), kann er es immer noch kochen. Aber wenn Sie ihn bitten, ein komplexes, mehrgängiges Menü zu kochen, bei dem er das Rezept mitten im Prozess anpassen muss (Mehrschrittige Argumentation), fängt er an, Zutaten fallen zu lassen oder den nächsten Schritt zu vergessen.
- Das Fazit: Die KI ist gut in einfacher, einstufiger Mathematik. Aber wenn sie ein Bild betrachten, Informationen extrahieren und diese Informationen dann in drei oder vier verschiedenen Schritten nutzen muss, um zu einem Endergebnis zu gelangen, verliert sie sich. Sie folgt der richtigen Methode, landet aber oft bei der falschen Zahl am Ende.
Zusammenfassung
Die Arbeit kommt zu dem Schluss, dass KIs zwar sehr gut darin werden, zu lesen und zu schreiben, aber immer noch etwas ungeschickt sind, wenn es um visuelle Argumentation und lange, komplexe Logikketten geht. Es ist wie ein Student, der die Theorie perfekt beherrscht, aber erstarrt, wenn er gebeten wird, diese auf eine reale Zeichnung mit sich ändernden Zahlen anzuwenden.
Hinweis: Die Forscher haben nur diese spezifischen Ingenieursprobleme getestet. Sie haben nicht behauptet, dass dies für medizinische Diagnosen, Rechtsberatung oder andere Bereiche gilt, noch haben sie vorgeschlagen, wie man die KI für die Zukunft verbessern könnte. Sie haben lediglich darüber berichtet, wie die KI bei diesem speziellen Satz von Ingenieurrätseln abgeschnitten hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.