Spreadsheet Modeling Experiments Using GPTs on Small Problem Statements and the Wall Task
Diese Arbeit bewertet die Fähigkeiten von GPT-basierten Tools, insbesondere Excel AI, beim Erstellen wiederverwendbarer Tabellenkalkulationsmodelle und stellt fest, dass deren Inkonsistenz, mangelnde Reproduzierbarkeit und die daraus resultierende Notwendigkeit einer qualifizierten Benutzerprüfung ihre Zuverlässigkeit für den professionellen Einsatz derzeit einschränken, obwohl sie gut strukturierte Entwürfe liefern können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, aber manchmal zerstreuten Roboter-Assistenten beizubringen, wie man eine Tabellenkalkulation erstellt. Sie geben ihm eine einfache Beschreibung eines mathematischen Problems und hoffen, dass er Ihnen eine perfekt organisierte Excel-Datei zurückgibt, die Sie für immer verwenden können.
Dieser Bericht ist ein Zeugnis dafür, wie gut dieser Roboter-Assistent tatsächlich abgeschnitten hat. Die Forscher, Thomas Grossman und sein Team, setzten fünf verschiedene „KI-Helfer" auf die Probe, um herauszufinden, welcher von ihnen ein wiederverwendbares Tabellenkalkulationsmodell am besten erstellen konnte. Sie wählten den Gewinner, ein Tool namens Excel AI, aus und unterwarfen es einer Reihe von Belastungstests.
Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einiger alltäglicher Analogien:
1. Das Ziel: Ein „Lego-Set" bauen, nicht eine „Sandburg"
Die Forscher wollten, dass die KI eine Tabellenkalkulation erstellt, die wiederverwendbar ist.
- Der falsche Weg (Sandburg): Stellen Sie sich vor, die KI schreibt die Zahlen direkt in die Zellen (wie „10" und „12"). Wenn Sie später die Raumgröße ändern möchten, müssen Sie alles löschen und neu schreiben. Das ist wie der Bau einer Sandburg; sie sieht für einen Moment gut aus, aber man kann sie nicht leicht wieder aufbauen.
- Der richtige Weg (Lego-Set): Die Forscher wollten, dass die KI die Zahlen in spezielle „Eingabe"-Felder schreibt und für den Rest Formeln (wie
=A1*B1) verwendet. Das ist wie ein Lego-Set. Sie können die Steine (die Eingabewerte) austauschen, und die gesamte Struktur aktualisiert sich automatisch. Das nennen sie ERFR (Essentielle Anforderungen an die Wiederverwendbarkeit).
2. Die Vorauswahl: Den besten Assistenten finden
Das Team probierte fünf verschiedene KI-Tools aus. Das war wie die Einstellung von fünf verschiedenen Bauunternehmern für den Bau einer Hütte.
- Einige Unternehmer lieferten kaputte Baupläne zurück.
- Andere gaben ihnen ein Bild einer Hütte statt der Hütte selbst.
- Ein Unternehmer, Excel AI, war am konsistentesten. Er reichte meist eine saubere, herunterladbare Datei mit der richtigen Struktur ein. Daher beschlossen die Forscher, sich bei allen zukünftigen Tests auf diesen einen zu konzentrieren.
3. Die Experimente: Wie der Roboter verschiedene Aufgaben bewältigte
Die Forscher gaben Excel AI acht verschiedene einfache mathematische Probleme zu lösen, wie „Berechnen Sie die Fläche eines Raums" oder „Ermitteln Sie die Kosten für Äpfel über einen Monat". Sie testeten drei spezifische Dinge:
Der „Rezept"-Test (Daten vs. Variablen):
- Szenario A: „Hier sind die Zahlen: 10 und 12."
- Szenario B: „Hier sind die Namen der Zahlen: Länge und Breite."
- Ergebnis: Der Roboter bewältigte beides perfekt. Er wusste, leere Felder für den Benutzer zu hinterlassen, falls keine Zahlen angegeben waren.
Der „Kalender"-Test (30 Tage vs. Ein Monat):
- Szenario A: „Machen Sie dies für 30 Tage."
- Szenario B: „Machen Sie dies für einen Monat."
- Ergebnis: Hier strauchelte der Roboter. Wenn ihm „30 Tage" gesagt wurde, erstellte er eine perfekte Liste mit 30 Zeilen. Aber wenn ihm „ein Monat" gesagt wurde, geriet er in Verwirrung. Manchmal erstellte er eine Liste für den aktuellen Monat (der 31 Tage oder weniger hat), und manchmal trug er tatsächliche Zahlen in die Zellen ein statt Formeln. Es war wie ein Koch, der ein Rezept für „30 Minuten" perfekt befolgen kann, aber verwirrt wird, wenn Sie „eine Stunde" sagen, und dann zu raten beginnt.
Der „Unsinn-Wort"-Test:
- Sie verwendeten ein erfundenes Wort (wie „Zorp") statt eines echten Objekts (wie „Apfel").
- Ergebnis: Dem Roboter war das völlig egal. Er behandelte „Zorp" exakt wie „Apfel". Das war ein Erfolg.
4. Das große Problem: Der „Magic 8-Ball"-Effekt
Das größte Problem, das die Forscher feststellten, ist die Reproduzierbarkeit.
- Wenn Sie den Roboter zweimal exakt dieselbe Frage stellen, erhalten Sie möglicherweise zwei verschiedene Antworten.
- Analogie: Stellen Sie sich vor, Sie fragen einen menschlichen Assistenten: „Machen Sie mir ein Sandwich." Das erste Mal geben sie Ihnen ein perfektes Putersandwich. Das zweite Mal fragen Sie genau dasselbe, und sie geben Ihnen ein Erdnussbutter-Sandwich ohne Ränder.
- Bei der „Wand-Aufgabe" (ein etwas komplexeres Problem über den Bau einer Wand) baute der Roboter manchmal ein perfektes, professionelles Modell. Manchmal baute er jedoch ein kaputtes Modell mit fehlenden Formeln, das Excel zum Absturz brachte. Man wusste nie, welche Version man bekommen würde.
5. Die „Vertrauenswürdigkeits"- und „Arbeitsablauf"-Probleme
Der Bericht schließt mit zwei großen Kopfschmerzen für jeden, der versucht, diese Technologie zu nutzen:
Das Problem der Vertrauenswürdigkeit:
Wenn ein Roboter Ihnen eine Tabellenkalkulation aushändigt, wie wissen Sie dann, ob sie richtig ist?- Analogie: Wenn ein Schüler Ihnen einen Mathe-Test aushändigt, können Sie die Antworten überprüfen. Aber wenn der Schüler ein Roboter ist, der möglicherweise halluziniert, müssen Sie selbst ein erfahrener Mathematiker sein, um seine Arbeit zu verifizieren. Man kann ihm einfach nicht vertrauen. Der Bericht sagt, dass man einen geschulten Menschen benötigt, um die Arbeit des Roboters zu überprüfen, was den Zweck, den Roboter zur Zeitersparnis einzusetzen, zunichtemacht.
Das Problem des Arbeitsablaufs:
Manche argumentieren: „Vielleicht sollte der Roboter uns nur einen ‚Entwurf' geben, den wir korrigieren können."- Analogie: Es ist, als würde man einen Roboter bitten, einen ersten Entwurf eines Romans zu schreiben. Wenn der Entwurf voller Handlungslöcher und Tippfehler steckt, ist es dann schneller, ihn zu reparieren oder das Buch von vorne zu schreiben? Die Forscher stellten fest, dass bei komplexen Tabellenkalkulationen das Reparieren des chaotischen Entwurfs des Roboters oft genauso viel Zeit (oder mehr) in Anspruch nimmt als das Erledigen der Aufgabe selbst.
Das endgültige Urteil
Das Fazit des Berichts ist vorsichtig.
- Das Gute: Die KI kann manchmal aus einfachen Anweisungen wunderschöne, professionell aussehende Tabellenkalkulationen erstellen.
- Das Schlechte: Sie ist inkonsistent, unzuverlässig und oft unvorhersehbar.
- Die Realität: Im Moment sind diese Tools nicht einsatzbereit. Sie sind nicht zuverlässig genug für den professionellen Einsatz, bei dem Fehler Geld kosten können. Sie werden am besten als „Entwurfsassistent" betrachtet, der einen geschulten Menschen erfordert, der die Arbeit überwacht, verifiziert und korrigiert.
Kurz gesagt: Der Roboter ist ein talentierter Lehrling, der manchmal ein Meisterwerk und manchmal ein Kartenhaus baut. Bis er lernt, konsistent zu sein, benötigen Sie immer noch einen Meisterbauer (einen Menschen), der die Klemmbrett hält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.