Named Entity Recognition of Historical Texts via Large Language Model
Diese Studie zeigt, dass große Sprachmodelle, die Zero-Shot- und Few-Shot-Prompting-Strategien nutzen, eine praktikable und effiziente Alternative für die Named-Entity-Recognition in historischen Texten darstellen, wo annotierte Trainingsdaten knapp sind, und dabei trotz eines im Vergleich zu vollständig überwachten Modellen verbleibenden Leistungsnachteils eine hinreichend starke Performance erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek alter, staubiger Zeitungen und handschriftlicher Briefe aus dem 18. und 19. Jahrhundert. Sie möchten schnell jede Erwähnung einer bestimmten Person, Stadt oder Organisation darin finden. Dies ist die Aufgabe der Named Entity Recognition (NER): einem Computer beizubringen, Namen wie „Napoleon", „Paris" oder „The Times" in einem Textblock zu erkennen und zu kennzeichnen.
Das Problem ist, dass diese alten Dokumente für Computer ein Albtraum sind. Sie sind in seltsamen, archaischen Sprachen verfasst, weisen inkonsistente Rechtschreibung auf (wie „shew" statt „show") und sind voller Tippfehler, die beim Scanprozess entstanden sind. Um einem Computer beizubringen, damit umzugehen, benötigen Sie normalerweise einen menschlichen Experten, der Tausende von Seiten liest und jeden Namen manuell markiert. Dies ist teuer, langsam und oft unmöglich, da es einfach nicht genügend Experten oder Geld dafür gibt.
Der neue Ansatz: Die Strategie „Zeigen, nicht erzählen"
Diese Studie testet einen neuen Weg, dieses Problem mit Large Language Models (LLMs) zu lösen. Stellen Sie sich ein LLM als einen superklugen, gut gebildeten Roboter vor, der fast alles im Internet gelesen hat. Anstatt den Roboter zu einem mühsamen Trainingskurs zu zwingen (der diese teuren, gelabelten Beispiele erfordert), versuchten die Forscher einen anderen Ansatz: Prompting.
Sie behandelten den Roboter wie einen neuen Mitarbeiter, der für die spezifische Aufgabe noch nicht geschult wurde. Sie gaben dem Roboter eine „Spickzettel" (einen Prompt) und baten ihn, die Arbeit zu erledigen. Sie testeten zwei Hauptstrategien:
- Zero-Shot (Der „blinde" Test): Sie sagten dem Roboter einfach: „Hier ist ein Text. Finde die Personen und Orte." Es wurden keine Beispiele gegeben.
- Few-Shot (Der „Zeig es mir"-Test): Sie gaben dem Roboter zuerst eine winzige Probe der Arbeit. Sie sagten: „Hier ist ein Satz: 'Napoleon ging nach Paris.' In diesem Satz ist 'Napoleon' eine Person und 'Paris' ein Ort. Schau dir nun diesen neuen Satz an und mache dasselbe."
Das Experiment: Die „ein Beispiel"-Überraschung
Die Forscher testeten dies an einer Sammlung historischer Texte in fünf verschiedenen Sprachen (Deutsch, Französisch, Englisch, Schwedisch und Finnisch). Sie versuchten, dem Roboter unterschiedliche Anzahlen von Beispielen zu geben: 1, 3 oder 5. Sie probierten auch verschiedene Methoden aus, um diese Beispiele auszuwählen, etwa zufällige Auswahl oder die Auswahl solcher, die dem Text, den der Roboter gleich lesen sollte, sehr ähnlich sahen.
Hier ist, was sie herausfanden, unter Verwendung einiger einfacher Analogien:
- Ein Beispiel ist der Sweet Spot: Überraschenderweise funktionierte es besser, dem Roboter nur ein einziges Beispiel zu geben, als ihm drei oder fünf zu geben. Es ist wie der Versuch, einem Kind ein Spiel zu erklären: Ein klares Beispiel reicht oft aus. Wenn man ihm fünf Beispiele gibt, könnte es durch das zusätzliche Rauschen oder die Länge der Anweisungen verwirrt werden. Der Roboter schnitt mit einer einzigen, klaren Demonstration am besten ab.
- Wie Sie das Beispiel auswählen, ist nicht so wichtig: Die Forscher fragten sich, ob die Auswahl eines Beispiels, das dem Zieltext exakt gleicht (wie das Finden eines Zwillings), mehr helfen würde als die Auswahl eines zufälligen. Sie stellten fest, dass es wirklich keine Rolle spielte. Ob das Beispiel eine perfekte Übereinstimmung war oder nur eine zufällige Stichprobe, der Roboter lernte aus einem einzigen Beispiel genauso gut. Es ist, als wäre der Roboter so schlau, dass er die Regeln des Spiels aus fast jedem einzelnen Beispiel herausfinden kann, unabhängig davon, wie ähnlich es der Aufgabe ist.
- Der „Gruppenabstimmung"-Trick: Da KI manchmal etwas unvorhersehbar sein kann (wie das Werfen einer Münze), baten die Forscher den Roboter, die Aufgabe dreimal durchzuführen, und nahmen dann die Antwort, die am häufigsten vorkam (Mehrheitsvotum). Dies half leicht, wie eine Kommission, die sich auf eine Entscheidung einigt, aber die Verbesserung war gering.
Die Ergebnisse: Gut, aber nicht perfekt
Der Roboter leistete eine anständige Arbeit. Er war viel besser darin, Namen zu finden, wenn ihm sogar ein Beispiel gegeben wurde, im Vergleich dazu, wenn ihm überhaupt keine Beispiele gegeben wurden. Dennoch konnte er die „Goldstandard"-Systeme nicht schlagen, die von Menschen über Monate hinweg mit riesigen Mengen an gelabelten Daten trainiert worden waren.
- Die Ausnahme: Es gab einen Datensatz (eine Sammlung deutscher Texte namens „Sonar"), bei dem der Roboter tatsächlich besser abschnitt als die bisherigen besten Methoden.
- Die Lücke: Bei den meisten anderen Texten blieb der Roboter hinter den Experten zurück, die die schwere manuelle Trainingsarbeit geleistet hatten.
Das Fazit
Diese Studie beweist, dass man nicht immer ein riesiges Team menschlicher Labeler benötigt, um einen Computer dazu zu bringen, alte Geschichtsbücher zu lesen. Man kann eine intelligente KI verwenden und ihr einfach ein einziges Beispiel zeigen, um überraschend gute Ergebnisse zu erzielen.
Während diese „One-Shot"-Methode noch nicht perfekt ist und die genauesten, von Menschen trainierten Systeme nicht ersetzen kann, ist sie ein leistungsstarkes, kostenloses und schnelles Werkzeug. Es ermöglicht Forschern, sofort mit der Erkundung historischer Archive zu beginnen, selbst wenn sie nicht über das Budget oder die Zeit verfügen, einen massiven Trainingsdatensatz zu erstellen. Es ist wie ein hilfreicher Assistent, der die alten Bücher mit Ihnen liest, auch wenn er eine kurze Erinnerung daran braucht, wonach er suchen soll, bevor er beginnt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.