Breaking the HISCO Barrier: Automatic Occupational Standardization with OccCANINE
Die Studie stellt OccCANINE vor, ein Open-Source-Tool, das durch Feinabstimmung eines CANINE-Modells auf 15,8 Millionen Datenpaaren in 13 Sprachen die manuelle Kodierung von Berufsbeschreibungen in HISCO-Codes automatisiert und dabei eine Genauigkeit von 96 % erreicht, um die Forschung in den Wirtschafts- und Geschichtswissenschaften zu demokratisieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Der digitale Übersetzer für alte Berufe – Wie OccCANINE die Geschichte entschlüsselt
Stellen Sie sich vor, Sie sind ein Geschichtsforscher. Sie haben einen riesigen Haufen alter Dokumente vor sich: Geburtsurkunden aus dem 18. Jahrhundert, Schiffslisten oder Heiratsregister. In diesen Papieren steht oft nur ein kurzer, handschriftlicher Eintrag wie „Schiffer, der auch etwas Land bewirtschaftet" oder „Dienstmagd".
Ihre Aufgabe? Jeder dieser Einträge muss in ein modernes, strenges System übersetzt werden, das man HISCO nennt. Das ist wie ein riesiges Telefonbuch für Berufe, in dem jeder Job eine spezifische Nummer hat.
Das Problem: Der „HISCO-Barrier"
Früher mussten Menschen diese Übersetzung von Hand machen. Stellen Sie sich vor, Sie müssten 10.000 dieser Einträge lesen und jeder einzelne Nummer zuordnen.
- Die Analogie: Das wäre so, als müssten Sie einen ganzen Berg von 10.000 Briefen einzeln lesen, die Handschrift entziffern (die oft schlecht ist!), Tippfehler korrigieren und dann in einem riesigen Nachschlagewerk die passende Nummer suchen.
- Die Folge: Ein erfahrener Forscher braucht dafür vielleicht 10 Sekunden pro Eintrag. Bei 10.000 Einträgen wären das fast 28 Stunden reiner Arbeitszeit. Bei Millionen von Einträgen wäre das unmöglich. Zudem machen Menschen Fehler, wenn sie müde sind, und jeder Forscher macht die Zuordnung vielleicht etwas anders.
Die Lösung: OccCANINE – Der digitale Assistent
Die Autoren dieses Papers haben eine Lösung entwickelt, die sie OccCANINE nennen. Stellen Sie sich das nicht als langweiligen Computercode vor, sondern als einen super-intelligenten, multilingualen Geschichtsbots, der in wenigen Minuten lernt, was ein „Schiffer" oder eine „Dienstmagd" ist.
Hier ist, wie es funktioniert, mit ein paar einfachen Vergleichen:
1. Der „Lernfresser" (Training)
Normalerweise müssten Forscher Jahre brauchen, um Daten zu sammeln. OccCANINE hat jedoch einen riesigen „Schulbuch"-Vorrat gefressen: 15,8 Millionen Beispiele.
- Die Analogie: Stellen Sie sich vor, Sie geben einem Schüler 15,8 Millionen Beispiele von „Frage" (der alte Berufstext) und „Antwort" (die korrekte HISCO-Nummer). Der Schüler liest diese nicht nur einmal, sondern wiederholt sie so lange, bis er das Muster verstanden hat.
- Das Besondere: Er lernt nicht nur Deutsch, Englisch oder Dänisch, sondern 13 Sprachen gleichzeitig. Er versteht, dass „Müller" auf Deutsch und „Miller" auf Englisch dasselbe bedeuten, auch wenn die Schreibweise altmodisch ist.
2. Der „Versteher" statt des „Suchers"
Frühere Computerprogramme waren wie ein Wort-Such-Spiel: Sie suchten nach exakten Buchstabenfolgen. Wenn jemand „Frmer" statt „Farmer" schrieb, liefen sie ins Leere.
OccCANINE ist anders. Es ist wie ein Mensch, der den Kontext versteht.
- Die Analogie: Wenn Sie einem Menschen sagen: „Er fischt und pflegt seinen Hof", versteht er sofort, dass es sich um zwei Berufe handelt (Fischer und Bauer), auch wenn die Grammatik holprig ist oder Tippfehler enthalten sind. OccCANINE macht genau das. Es „versteht" die Bedeutung des Textes, statt nur Buchstaben zu vergleichen.
3. Die zwei Arbeitsweisen (Decoder)
Das Programm hat zwei Modi, je nachdem, wie schnell oder genau Sie sein wollen:
- Der „Blitz-Modus" (Flat Decoder): Er ist wie ein Schnellleser. Er wirft einen schnellen Blick auf den Text und spuckt sofort eine Liste mit den wahrscheinlichsten Nummern aus. Sehr schnell, aber man muss selbst entscheiden, wie sicher man sein will.
- Der „Gründlich-Modus" (Sequential Decoder): Er ist wie ein Detektiv, der Schritt für Schritt arbeitet. Er baut die Nummer Ziffer für Ziffer auf (z. B. erst die 6, dann die 1, dann die 1...). Das ist etwas langsamer, aber extrem genau und versteht auch komplexe Fälle, in denen jemand zwei Berufe gleichzeitig hatte.
Die Ergebnisse: Ein Wunder der Geschwindigkeit
- Genauigkeit: Das Programm liegt bei 96 % Genauigkeit. Das ist so gut wie ein menschlicher Experte, manchmal sogar besser, weil es nie müde wird.
- Geschwindigkeit: Was früher Wochen dauerte, erledigt OccCANINE in Minuten.
- Vergleich: Ein Mensch braucht für 10.000 Einträge fast einen ganzen Arbeitstag. OccCANINE braucht auf einem normalen Laptop mit Grafikkarte weniger als 10 Minuten.
Warum ist das wichtig?
Durch dieses Tool wird die Geschichte für alle zugänglich.
- Demokratisierung: Nicht nur große Universitäten mit teuren Computern und vielen Hilfskräften können riesige Datensätze analysieren. Jeder Forscher kann jetzt schnell prüfen, wie sich Berufe über Jahrhunderte verändert haben.
- Neue Entdeckungen: Da die Daten schneller verarbeitet werden können, können Forscher neue Fragen stellen: Wie hat sich die Arbeit von Frauen verändert? Wie haben Eisenbahnen die Berufe beeinflusst?
- Flexibilität: Das Tool ist nicht nur für HISCO gedacht. Es kann auch für andere Klassifikationssysteme (wie die US- oder britischen Zensusdaten) angepasst werden.
Fazit
OccCANINE bricht die „HISCO-Barriere". Es verwandelt die mühsame, manuelle Arbeit des Entzifferns alter Texte in einen automatisierten, schnellen Prozess. Es ist wie der Unterschied zwischen dem manuellen Abschreiben einer Bibliothek und dem Einsatz eines modernen Scanners. Die Geschichte wird nicht nur schneller gelesen, sondern auch besser verstanden.
Kurz gesagt: OccCANINE ist der digitale Assistent, der alte Berufstitel in Sekunden in moderne Daten verwandelt und damit die Tür für neue, spannende Geschichtsforschung weit öffnet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.