Accounting Reasoning in Large Language Models: Concepts, Evaluation, and Empirical Analysis
Diese Studie führt das Konzept des „Accounting Reasoning“ ein, entwickelt darauf basierende Evaluationskriterien und zeigt durch Vergleiche verschiedener großer Sprachmodelle auf, dass diese zwar durch Prompt-Engineering verbessert werden können, aber für den professionellen Einsatz in der Buchhaltung noch nicht ausreichend leistungsfähig sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der „Super-Assistent“, der bei der Steuererklärung ins Schwitzen kommt
Stellen Sie sich vor, Sie hätten einen extrem belesenen Assistenten. Dieser Assistent hat fast alle Bücher der Welt gelesen, kann Gedichte schreiben, komplizierte Programmiercodes erstellen und jede Sprache der Welt sprechen. Er wirkt wie ein Genie – ein „Super-Assistent“ (das sind die Large Language Models wie GPT-4).
Jetzt stellen Sie sich vor, Sie geben diesem Assistenten eine Aufgabe, die eigentlich recht simpel klingen sollte: „Hier sind die Belege der Firma XY. Berechne die Abschreibungen, prüfe die Steuerkonformität und sag mir, ob die Bilanz stimmt.“
Was passiert? Der Assistent fängt zwar motiviert an, schreibt wunderschöne, logisch klingende Sätze, aber am Ende ist die Summe falsch, er verwechselt die Regeln für die Umsatzsteuer mit denen für die Gewinnsteuer und am Ende ist das Chaos perfekt.
Genau das ist das Thema dieser wissenschaftlichen Arbeit.
Worum geht es in der Studie?
Die Forscher der Jiangsu Ocean University wollten herausfinden: Können diese „Super-Assistenten“ (KI-Modelle) wirklich „Buchhalterisch Denken“?
Es reicht nämlich nicht, nur Wörter zu verstehen. Buchhaltung ist wie ein hochkomplexes Tetris-Spiel: Eine Zahl an einer Stelle verändert alles an einer anderen Stelle. Wenn man einen Stein falsch setzt, bricht das ganze Gebäude zusammen. Die Forscher haben die KI-Modelle (wie GPT-4 und die GLM-Serie) mit speziellen Tests geprüft, die wie eine harte Prüfung für Steuerberater funktionieren.
Die drei großen Hürden (Die Metaphern)
Die Forscher haben festgestellt, dass die KI bei drei Dingen scheitert, wenn es ernst wird:
Der „Domino-Effekt“ (Fehlerfortpflanzung):
Stellen Sie sich eine lange Reihe von Dominosteinen vor. In der Buchhaltung ist jeder Rechenschritt ein Stein. Wenn die KI beim ersten Stein (z. B. der Berechnung des Warenwerts) nur einen Millimeter daneben liegt, fällt am Ende der letzte Stein (der Jahresgewinn) komplett in die falsche Richtung. Die KI verliert bei langen Rechenketten einfach den Faden.Das „Regel-Labyrinth“ (Logik vs. Wissen):
Die KI ist wie ein Schüler, der zwar die Formeln auswendig gelernt hat, aber nicht versteht, warum man sie benutzt. Sie kann zwar rechnen, aber sie versteht die tieferen Prinzipien der Buchhaltung nicht. Es ist, als würde man versuchen, ein Puzzle zu lösen, indem man die Teile einfach mit Gewalt zusammenpresst, ohne zu schauen, ob die Muster wirklich zusammenpassen.Die „Zahlen-Blindheit“ (Mathematische Präzision):
Die KI ist ein Sprachgenie, aber ein mittelmäßiger Mathematiker. Sie „würfelt“ manchmal mit Zahlen, anstatt sie präzise zu berechnen. In der Welt der Buchhaltung ist ein Cent Unterschied aber schon ein Fehler.
Das Ergebnis: Ein talentierter Anfänger
Die Forscher kamen zu einem klaren Schluss: Die KI ist momentan wie ein sehr begabter Praktikant, dem man niemals allein die Kasse überlassen darf.
- GPT-4 ist zwar der „Klassenbeste“ unter den Modellen, aber selbst er macht bei komplexen Aufgaben noch zu viele Fehler.
- Prompt Engineering (also die Kunst, der KI die Frage besonders geschickt zu stellen) hilft zwar, die Leistung zu verbessern, aber es ist wie ein Pflaster auf einer tiefen Wunde – es löst das grundlegende Problem nicht.
Was bedeutet das für die Zukunft?
Die Studie sagt uns: Wir können die KI nicht einfach „einschalten“ und die Buchhaltung automatisieren. Wir müssen sie nicht nur mit mehr Text füttern, sondern ihr das „logische Skelett“ der Buchhaltung beibringen. Sie muss lernen, nicht nur Wörter zu kombinieren, sondern die starren, unerbittlichen Regeln der Finanzwelt wirklich zu verstehen.
Fazit in einem Satz: Die KI kann zwar wunderbar über Finanzen reden, aber sie kann (noch) nicht zuverlässig über Finanzen entscheiden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.