Breaking the HISCO Barrier: Automatic Occupational Standardization with OccCANINE
Dit paper introduceert OccCANINE, een open-source tool die beroepsbeschrijvingen automatisch en met hoge nauwkeurigheid omzet naar HISCO-codes, waardoor de tijdrovende handmatige codering wordt vervangen en onderzoek in economie en economische geschiedenis wordt gestimuleerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Breken van de "HISCO-Muur": Hoe een Slimme Computer Jaren aan Werk in Minuten Doet
Stel je voor dat je een enorme berg oude brieven, geboorteaktes en dagboeken uit de geschiedenis hebt. In deze documenten staat beschreven wat mensen vroeger deden: "vissersknecht", "ijzerwerker", "koopman van zijde". Voor historici en economen is het cruciaal om te weten wat deze mensen precies deden, want dit vertelt ons over de economie, sociale ongelijkheid en de ontwikkeling van onze samenleving.
Het probleem? Om deze duizenden en duizenden beschrijvingen te ordenen, moeten ze worden vertaald naar een standaardlijst met codes (zoals een soort postcodes voor beroepen). Dit systeem heet HISCO.
Het Oude Probleem: De Uurwerk-Methode
Vroeger was dit een enorme klus. Stel je voor dat je een onderzoeker bent die elke dag 10 seconden nodig heeft om een beroep te coderen. Om 10.000 beschrijvingen te coderen, zou je bijna een hele werkweek moeten werken. En als je miljoenen documenten hebt? Dan zou je eeuwen nodig hebben. Mensen maken ook fouten; ze zijn moe, of ze interpreteren een oude spelling net anders dan hun collega.
De Oplossing: OccCANINE (De Slimme Vertaler)
De auteurs van dit paper hebben een oplossing bedacht: OccCANINE. Dit is geen mens, maar een slim computerprogramma (een "taalmodel") dat is getraind om beroepsbeschrijvingen automatisch om te zetten in de juiste HISCO-code.
Hier is hoe het werkt, in begrijpelijke termen:
1. De "Oefenboeken" (De Data)
Stel je voor dat je een student wilt leren coderen. Je geeft hem niet één boek, maar een bibliotheek vol met 15,8 miljoen voorbeelden. In deze bibliotheek staat bij elke oude beroepsbeschrijving (zoals "vissersknecht") de juiste code. OccCANINE heeft deze bibliotheek gelezen in 13 verschillende talen (Nederlands, Engels, Deens, Duits, etc.). Het heeft geleerd dat "vissersknecht" en "fisherman" eigenlijk hetzelfde zijn, en dat beide horen bij dezelfde code.
2. De "Slimme Vertaler" (Het Model)
In plaats van dat de computer alleen zoekt naar exacte woorden (zoals een simpele zoekfunctie), begrijpt OccCANINE de betekenis.
- Voorbeeld: Als er staat "hij vist en houdt van zijn boerderij", begrijpt de computer dat dit twee beroepen zijn: visser en boer.
- Tolerantie: Als er een typfout staat (bijvoorbeeld "fsherman" in plaats van "fisherman"), maakt de computer zich niet druk. Omdat hij de betekenis begrijpt, weet hij toch dat het om een visser gaat.
3. De Twee Manieren van Werken
Het programma heeft twee manieren om te werken, afhankelijk van wat je nodig hebt:
- De "Snelle Schutter" (Flat Decoder): Deze werkt razendsnel. Hij gooit een lijstje met de meest waarschijnlijke codes op tafel. Ideaal als je snelheid nodig hebt.
- De "Zorgvuldige Bouwer" (Sequential Decoder): Deze bouwt de code stap voor stap, cijfer voor cijfer. Dit is iets nauwkeuriger en kan beter omgaan met mensen die meerdere beroepen hadden. Dit is de aanbevolen methode voor de meeste onderzoekers.
4. De Resultaten: Een Revolutie
De resultaten zijn verbazingwekkend:
- Snelheid: Wat een mens uren of dagen kost, doet OccCANINE in minuten. 10.000 beschrijvingen? Dat duurt ongeveer 9 minuten op een gewone laptop.
- Nauwkeurigheid: Het programma is in 96% van de gevallen correct. Dat is net zo goed als (en soms beter dan) een ervaren menselijke onderzoeker.
- Veelzijdigheid: Het werkt niet alleen voor HISCO, maar kan ook worden getraind voor andere systemen, zoals de Amerikaanse of Britse historische coderingen.
Waarom is dit zo belangrijk?
Dit paper breekt de "HISCO-muur". Voorheen was het coderen van beroepen een enorme bottleneck die onderzoek vertraagde. Nu kunnen onderzoekers:
- Meer data analyseren: Ze kunnen werken met datasets van miljoenen mensen in plaats van slechts een paar duizend.
- Nieuwe vragen stellen: Ze kunnen patronen ontdekken die voorheen onzichtbaar waren, zoals hoe vrouwen hun werk veranderden over de eeuwen, of hoe de komst van de trein de beroepskeuzes beïnvloedde.
- Betrouwbare resultaten: Omdat de computer altijd dezelfde regels volgt, zijn de resultaten reproduceerbaar. Geen willekeurige menselijke foutjes meer.
Conclusie
OccCANINE is als het geven van een superkracht aan historici. Het neemt de saaie, tijdrovende klus van het "invoeren van data" uit handen, zodat onderzoekers zich kunnen focussen op het echte werk: het ontdekken van verhalen uit het verleden en het begrijpen van hoe onze wereld is geworden zoals hij nu is. Het maakt historische data toegankelijk voor iedereen, niet alleen voor degenen met een enorm budget of een heel team aan research-assistenten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.