Information Extraction from Electricity Invoices with General-Purpose Large Language Models
Diese Studie zeigt, dass bei allgemeinen Large Language Models, die ohne Feinabstimmung Informationen aus spanischen Stromrechnungen extrahieren, die Qualität des Prompt-Engineerings der entscheidende Faktor für die Leistung ist, wobei Few-Shot-Strategien Zero-Shot-Baselines deutlich übertreffen und F1-Werte von über 96 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen riesigen Stapel Stromrechnungen von verschiedenen Unternehmen. Manche sind ordentlich und sauber, andere sind unordentlich, und alle sehen leicht unterschiedlich aus. Ihr Ziel ist es, spezifische Zahlen und Namen (wie „Gesamtkosten" oder „Kundenname") aus jeder einzelnen Rechnung zu extrahieren und sie in eine ordentliche Tabelle einzutragen.
Jahrelang hatten Computer damit zu kämpfen. Alte Programme waren wie starre Roboter: Wenn eine Rechnung auch nur winzig anders aussah als das, wofür sie trainiert worden waren, gerieten sie in Verwirrung und versagten.
Dieser Artikel handelt davon, einem neuen Typ „superintelligenten Roboters" (einem sogenannten Large Language Model, kurz LLM) beizubringen, diese Rechnungen zu lesen, ohne dass er für jedes einzelne neue Design neu trainiert werden muss. Die Forscher stellten die Frage: Können wir diesen intelligenten Robotern einfach die richtigen Anweisungen geben, und werden sie es dann selbst herausfinden?
Hier ist die Zusammenfassung ihrer Erkenntnisse, unter Verwendung einiger alltäglicher Analogien:
1. Das „Rezept" ist wichtiger als der „Kochmütze"
Die Forscher testeten zwei verschiedene „Köche" (KI-Modelle): Gemini 1.5 Pro (ein riesiger, komplexer Koch) und Mistral-small (ein kleinerer, schnellerer und effizienterer Koch).
Sie versuchten auch, die „Koch-Einstellungen" (technische Parameter wie Temperatur und Zufälligkeit) zu justieren. Sie erwarteten, dass vielleicht der größere Koch oder die perfekten Koch-Einstellungen den größten Unterschied machen würden.
Die Überraschung: Es machte kaum einen Unterschied, welchen Koch sie verwendeten oder wie sie die Einstellungen justierten. Der Unterschied in den Ergebnissen war winzig – wie der Unterschied zwischen einem Kuchen, der zu 99 % perfekt ist, und einem, der zu 99,5 % perfekt ist.
Der eigentliche Gewinner: Der Prompt (die Anweisungen, die der KI gegeben werden).
Stellen Sie sich den Prompt als das Rezept vor.
- Zero-Shot (Kein Rezept): Nur zu sagen „Lesen Sie diese Rechnung und geben Sie mir die Zahlen" ist, als würde man einem Koch sagen, er solle kochen, ohne ein Rezept zu haben. Die Ergebnisse waren okay (etwa 78 % Genauigkeit), aber nicht großartig.
- Few-Shot (Mit Beispielen): Der KI ein paar Beispiele zu geben („Hier ist eine Rechnung, und hier sind die Daten, die ich brauche") ist, als würde man dem Koch ein Beispielgericht zum Kopieren geben. Die Genauigkeit sprang auf über 96 %.
Die Lehre: Es geht nicht darum, den teuersten Koch oder den modernsten Ofen zu haben; es geht darum, ein wirklich gutes Rezept zu schreiben.
2. Die „Kopier"-Strategie funktioniert am besten
Die Forscher probierten verschiedene Arten aus, Beispiele zu geben:
- Die „One-Shot"-Methode: Ein Beispiel zu zeigen. Gut, aber nicht das Beste.
- Die „Cross-Validation"-Methode: Dies ist der Champion. Sie zeigten der KI drei verschiedene Arten von Rechnungen (z. B. eine tabellarische, eine listenartige und eine komplexe) und baten sie dann, eine vierte Art zu lesen, die sie noch nie gesehen hatte.
- Ergebnis: Die KI wurde zu einem Meister-Kopierer. Sie lernte das Konzept einer Stromrechnung, nicht nur das Aussehen einer bestimmten Rechnung. Sie erreichte 97,6 % Genauigkeit mit Gemini und 96,1 % mit Mistral.
3. Das „Übersetzungs"-Problem
Bevor die KI die Rechnungen lesen konnte, mussten die Forscher die PDF-Dateien in Text (Markdown) umwandeln.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, eine handschriftliche Notiz zu lesen, die durch ein schmutziges Fenster kopiert wurde. Wenn die Notiz in einer sauberen Tabelle steht, kommt der Text klar heraus. Wenn die Notiz in einem unordentlichen, mehrspaltigen Layout gepresst ist, wird der Text durcheinandergebracht.
- Die Erkenntnis: Die KI war nur so gut wie der Text, den sie erhielt. Wenn die Rechnung ein sauberes, tabellenähnliches Layout hatte, war die KI nahezu perfekt. Wenn die Rechnung ein unordentliches, dichtes Design hatte, hatte die KI Schwierigkeiten, weil die „Übersetzung" von PDF zu Text wichtige Hinweise verloren hatte.
4. Die „Halluzinations"-Falle
Sie stellten einen Persönlichkeitsunterschied zwischen den beiden Köchen fest:
- Gemini (Der vorsichtige Koch): Wenn es sich nicht sicher war, wo eine Zahl stand, sagte es: „Ich sehe sie nicht." Es war sehr genau, verpasste aber manchmal Dinge.
- Mistral (Der selbstbewusste Koch): Wenn es sich nicht sicher war, riet es trotzdem eine Zahl. Es fand fast alles (hohe „Recall"-Rate), erfand aber auch einige Zahlen, die es gar nicht gab (niedrige „Precision"-Rate).
- Das Fazit: Wenn Sie zu 100 % sicher sein müssen, dass die Zahl echt ist, wollen Sie den vorsichtigen Koch. Wenn Sie alles finden wollen und die Antworten später überprüfen können, ist der selbstbewusste Koch in Ordnung.
5. Die alten Roboter schlagen
Der Artikel vergleicht diese neuen KI-Köche mit den alten „Robotern" (traditionelles Machine Learning).
- Der alte Roboter: Wenn er auf Rechnungstyp A trainiert wurde, konnte er Rechnungstyp A perfekt lesen (91 % Genauigkeit). Aber wenn man ihm Rechnungstyp B gab, stürzte er ab und versagte (die Genauigkeit sank auf 67 %). Er hatte das Aussehen des Papiers auswendig gelernt, nicht die Bedeutung.
- Die neue KI: Sie musste nicht auf Rechnungstyp B trainiert werden. Weil sie die Bedeutung einer Stromrechnung verstand, las sie die neuen Typen mit über 95 % Genauigkeit. Sie generalisierte die Fähigkeit, anstatt das Muster auswendig zu lernen.
Zusammenfassung
Der Artikel kommt zu dem Schluss, dass man, um einen Computer dazu zu bringen, Geschäftsunterlagen perfekt zu lesen, kein individuelles Gehirn für jeden einzelnen Dokumententyp bauen muss. Stattdessen muss man einfach bessere Anweisungen schreiben und ihm ein paar gute Beispiele zeigen.
Das „Geheimrezept" ist nicht die Größe des KI-Modells oder die komplexen mathematischen Einstellungen; es ist die Qualität des Prompts (der Anweisungen) und wie gut das Dokument in Text umgewandelt wird, damit die KI ihn lesen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.