Retrieval-Augmented Generation for Taxpayer Advisory in an LMIC Setting: A Proof-of-Concept Evaluation of Statutory Legal Retrieval
Diese Studie präsentiert eine Proof-of-Concept-Evaluierung eines Frameworks für die Retrieval-Augmented Generation zur Steuerberatung in Ländern mit niedrigem und mittlerem Einkommen und zeigt auf, dass die semantische Abfrage der nationalen Einkommensteuergesetzgebung eine hohe Genauigkeit bei der Identifizierung gesetzlicher Bestimmungen erreichen kann, um das fundierte Prompting von Sprachmodellen zu unterstützen, während gleichzeitig die Notwendigkeit einer weiteren Validierung der Generierungsqualität und der rechtlichen Konformität vor dem Einsatz hervorgehoben wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In vielen Teilen der Welt ist das Verständnis der Regeln, die regeln, wie Menschen und Unternehmen Steuern zahlen, eine entmutigende Aufgabe. Die Gesetze sind oft in einer dichten, technischen Sprache verfasst, und das Finden der spezifischen Regel, die auf eine einzigartige Situation zutrifft, kann sich anfühlen wie die Suche nach der Nadel im Heuhaufen. Um Menschen bei der Bewältigung dieser Komplexität zu helfen, wenden sich Steuerbehörden zunehmend digitalen Werkzeugen zu, einschließlich Systemen der künstlichen Intelligenz, die darauf ausgelegt sind, Fragen zu beantworten. Eine große Herausforderung bleibt jedoch: Diese Computerprogramme werden mit riesigen Mengen allgemeiner Daten trainiert, was bedeutet, dass sie manchmal zwar selbstbewusst klingen, aber falsche oder erfundene Informationen liefern können – ein Problem, das als „Halluzination“ bekannt ist. Um dies zu lösen, haben Forscher eine Methode namens Retrieval-Augmented Generation entwickelt. Dieser Ansatz funktioniert dadurch, dass der Computer zuerst eine vertrauenswürdige, offizielle Bibliothek von Dokumenten durchsucht, um den exakten Wortlaut des Gesetzes zu finden, und erst dann den Computer bittet, eine Antwort strikt auf Basis dessen zu schreiben, was er gefunden hat. Dies stellt sicher, dass die Antwort in der Realität verwurzelt ist, anstatt auf Vermutungen zu beruhen. Die Frage für Experten ist, ob diese Methode gut genug funktioniert, um in Ländern mit weniger Ressourcen nützlich zu sein, in denen Steuersysteme modernisiert werden, in denen der Zugang zu spezialisierten Rechtsexperten jedoch oft begrenzt ist.
Ein Forschungsteam von Universitäten aus Uganda setzte sich daran, diese Idee mit einem spezifischen Fokus auf das ugandische Einkommensteuergesetz (Income Tax Act) zu testen. Ihr Ziel war es nicht, ein vollständig fertiges Produkt zu bauen, das Rechtsberatung geben könnte, sondern einen funktionierenden Prototyp zu erstellen, um zu sehen, ob die Kerntechnologie in der Lage ist, die richtigen Abschnitte des Steuergesetzes bei einer Frage korrekt zu finden. Sie begannen damit, den gesamten Text des nationalen Steuergesetzes zu nehmen und ihn in 198 verschiedene, handhabbare Informationseinheiten zu zerlegen. Jedes Stück wurde mit seinem Standort im Gesetz markiert, wie etwa der spezifische Teil und die Abschnittsnummer, und anschließend in ein digitales Format umgewandelt, das es einem Computer ermöglicht, die Bedeutung der Wörter zu verstehen, anstatt nur nach Schlüsselwörtern zu suchen. Dieser Prozess schuf eine durchsuchbare digitale Bibliothek, in der der Computer nach dem Konzept hinter einer Frage suchen konnte, nicht nur nach den exakten Wörtern.
Um zu testen, wie gut dieses System funktionierte, generierten die Forscher 900 verschiedene Fragen, die ein Steuerzahler stellen könnte, wie etwa Anfragen zu Abzügen oder spezifischen Sätzen. Für jede Frage wussten sie genau, welcher Abschnitt des Gesetzes die korrekte Antwort enthielt. Sie baten dann ihr Computersystem, die drei relevantesten Abschnitte des Gesetzes für jede Frage zu finden. Die Ergebnisse zeigten, dass das System bei seiner primären Aufgabe recht effektiv war. Wenn das System gebeten wurde, die eine beste Übereinstimmung zu finden, war es in 72 Prozent der Fälle erfolgreich. Noch wichtiger war: Wenn es die drei besten Ergebnisse betrachtete, die es lieferte, war die korrekte Antwort in 86,78 Prozent der Fälle enthalten. Dies deutet darauf hin, dass der Computer zwar nicht immer die absolut beste Antwort als seine allererste Wahl wählte, aber die korrekten Informationen fast immer innerhalb der ersten paar Optionen präsentierte, die er anbot.
Die Forscher stellten fest, dass das System oft den ersten Platz verpasste, wenn die falsche Antwort eine sehr ähnliche Bedeutung wie die richtige hatte, anstatt völlig unzusammenhängend zu sein. Dies deutet darauf hin, dass das System die Konzepte gut versteht, aber manchmal Schwierigkeiten hat zu entscheiden, welche von zwei sehr ähnlichen gesetzlichen Bestimmungen die präziseste Passform ist. Die Studie hat erfolgreich demonstriert, dass es möglich ist, ein komplexes Rechtsdokument zu nehmen, es in ein maschinenlesbares Format zu verwandeln und es zu nutzen, um spezifische Informationen mit einem hohen Grad an Genauigkeit abzurufen. Das Team stellte jedoch vorsorglich klar, dass dies nur ein Test des Suchmechanismus war. Sie testeten nicht, ob die vom Computer generierten endgültigen schriftlichen Antworten rechtlich perfekt, sicher in der Anwendung oder für echte Menschen leicht verständlich waren.
Diese Arbeit ist bedeutend, weil sie einen potenziellen Weg für Steuerbehörden in Entwicklungsländern bietet, bessere und zugänglichere Informationen für ihre Bürger bereitzustellen, ohne für jede Anfrage eine riesige Armee von Rechtsexperten einstellen zu müssen. Die Studie legt nahe, dass eine relativ kleine, gut organisierte Sammlung von Gesetzen in ein mächtiges Werkzeug zur Informationsfindung verwandelt werden kann. Dennoch betonen die Autoren, dass dies erst der Anfang ist. Bevor ein solches System in der realen Welt eingesetzt werden könnte, um Steuerzahler zu leiten, müsste es mit tatsächlichen Fragen von echten Menschen getestet, von Rechtsexperten überprüft werden, um sicherzustellen, dass der Rat korrekt ist, und angepasst werden, um mehrere Sprachen und verschiedene Arten von Steuergesetzen zu handhaben. Die aktuellen Ergebnisse zeigen, dass die Technologie machbar ist, aber die Umwandlung dieser Machbarkeit in einen zuverlässigen öffentlichen Dienst erfordert weitere Arbeit, um Sicherheit, Genauigkeit und Vertrauen zu gewährleisten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.