Empirical Investigation of Vision Architectures for High- Cardinality Fine-Grained Ancient Chinese Ideograph Classification on OBWX

Eeuwenlang hebben geleerden de vroegste geschreven verslagen van de Chinese beschaving bestudeerd, de ingewikkelde symbolen die duizenden jaren geleden in schildpadschilden en bronzen vaten werden gekerfd. Deze oude karakters zijn niet louter plaatjes; het is een complex systeem waarbij een enkel concept in tientallen licht verschillende vormen kan verschijnen, afhankelijk van het tijdperk, de regio of het gebruikte materiaal. De uitdaging voor moderne onderzoekers is om computers te leren deze symbolen automatisch te herkennen. Dit is niet een eenvoudige taak van het matchen van een plaatje aan een label. Het systeem moet het onderscheid maken tussen duizenden visueel gelijkaardige karakters, waarvan er veel slechts een handvol keren voorkomen in de beschikbare historische verslagen, terwijl andere juist vaak voorkomen. Dit creëert een moeilijke onbalans waarbij de computer sommige karakters vaak ziet maar anderen zelden, wat het moeilijk maakt om de volledige set te leren. Bovendien varieert de kwaliteit van deze oude afbeeldingen enorm, waarbij sommige beschadigd zijn door de tijd, inktvlekken of ontbrekende streken, wat een extra laag van verwarring toevoegt voor elke machine die probeert hiervan te leren.

Een team van onderzoekers heeft nu een rigoureuze testomgeving gebouwd om te zien welke moderne computer vision-systemen het best geschikt zijn voor dit specifieke historische puzzelstuk. Ze richtten zich op een enorme collectie van meer dan 74.000 afbeeldingen die 6.650 verschillende categorieën van oude karakters vertegenwoordigen, afkomstig uit vier belangrijke historische perioden variërend van de vroegste orakelbotten tot het latere kleine zegelscript. Om een eerlijke vergelijking te garanderen, onderwierpen ze veertien verschillende computerarchitecturen aan exact dezelfde trainings- en testprocedure, waarbij ze elke variabele constant hielden zodat de resultaten uitsluitend zouden afhangen van het ontwerp van het systeem zelf. Het doel was om voorbij geïsoleerde experimenten te gaan en een duidelijke, reproduceerbare rangschikking vast te stellen van welke benaderingen daadwerkelijk het beste werken voor deze hoogwaardige, fijnmazige classificatietaak.

De resultaten onthulden een duidelijke hiërarchie onder de verschillende computerontwerpen. Het systeem dat het beste presteerde was een modern convolutioneel netwerk, een type architectuur dat afbeeldingen verwerkt door ze te scannen met kleine filters om lokale patronen zoals lijnen en curven te detectцюeren. Dit model bereikte een nauwkeurigheid van ongeveer 74,5 procent, waarmee het de overgrote meerderheid van de geteste karakters correct identificeerde. Het werd gevolgd door een hybride systeem dat convolutionele scanning combineert met aandachtmechanismen (attention mechanisms), en daarna door een hiërarchische transformer, die afbeeldingen op een gestructureerde, gelaagde manier verwerkt. Interessant genoeg wonnen de krachtigste en grootste modellen niet. Een van de grootste systemen, dat een puur op aandacht gebaseerde benadering gebruikt en vier keer zoveel aanpasbare parameters heeft als de winnaar, presteerde aanzienlijk slechter en bleef ruim negen procentpunten achter. Deze bevinding suggereert dat voor deze specifieke taak de manier waarop een model is gebouwd er veel meer toe doet dan hoe groot het is. Een model met minder parameters maar een ontwerp dat geoptimaliseerd is voor lokale details, kan een massief systeem overtreffen dat probeert de hele afbeelding in één keer te verwerken.

De onderzoekers ontdekten ook dat de moeilijkheid van de taak niet gelijkmatig verdeeld is over alle karakters. Het systeem presteerde uitzonderlijk goed op de meest voorkomende karakters, die frequent voorkwamen in de trainingsdata, en behaalde een nauwkeurigheid van meer dan 90 procent op deze "head"-categorieën. Echter, de prestaties daalden gestaag naarmate de karakters zeldzamer werden. Voor de minst voorkomende karakters, die de meerderheid van de dataset vormden, daalde de nauwkeurigheid naar ongeveer 60 procent. Deze zeldzame categorieën waren verantwoordelijk voor bijna twee derde van alle fouten die het systeem maakte. De fouten waren niet willekeurig; ze kwamen bijna altijd voor tussen verschillende karakters die er zeer gelijkaardig uitzien, zoals twee symbolen die slechts verschillen door een enkele streek of een klein onderdeel. Het systeem verwardde zelden verschillende versies van hetzelfde karakter, maar had vaak moeite om onderscheid te maken tussen twee verschillende karakters die een vergelijkbare visuele structuur deelden. Dit geeft aan dat de primaire flessenhals niet de variatie binnen een enkel karakter door de tijd heen is, maar het vermogen om onderscheid te maken tussen verschillende karakters die bijna identiek zijn.

Toen de onderzoekers testten hoe deze systemen standhielden tegenover gedegradeerde afbeeldingen, waarbij de schade gevonden op echte antieke artefacten werd gesimuleerd, veranderden de rangschikkingen. Het systeem dat het beste was op schone afbeeldingen, bleef niet de meest robuuste wanneer ruis werd geïntroduceerd. Een hybride model dat tweede rangschikte op schone data, bleek de meest veerkrachtige te zijn, waarbij het een hoger percentage van zijn nauwkeurigheid behield wanneer de afbeeldingen wazig waren of delen misten. In tegenstelling hiertoe leed het best presterende model op schone data aan een scherpere daling wanneer de afbeeldingen beschadigd waren, met name wanneer streken geërodeerd waren. Dit suggereert dat de ontwerpkenmerken die een model uitmuntend maken in het herkennen van perfecte afbeeldingen, niet noodzakelijkerwijs de meest betrouwbare maken voor real-world historische documenten, die vaak imperfect zijn.

De studie onderzocht ook of de resultaten stabiel waren of slechts een gelukkig resultaat van een specifieke trainingsronde. Door het gehele experiment te herhalen met verschillende willekeurige startpunten, vonden de onderzoekers dat de top-presteerders consistent bleven. Het beste model bleef bovenaan staan, en de groep van de top drie modellen veranderde niet, ongeacht hoe de training werd geïnitieerd. Sommige van de minder presterende modellen vertoonden echter wilde schommelingen in prestaties afhankelijk van de willekeurige seed, waarbij hun nauwkeurigheid tussen de runs met wel vijfentwintig procentpunten varieerde. Deze instabiliteit suggereert dat hoewel de leidende ontwerpen robuust en betrouwbaar zijn, sommige van de oudere of minder geoptimaliseerde architecturen gevoelig zijn voor falen en geen consistente resultaten kunnen produceren zonder zorgvuldige afstemming.

Uiteindelijk biedt dit werk een duidelijke kaart voor toekomstig onderzoek in de digitale paleografie. Het laat zien dat voor het herkennen van oude Chinese karakters, een model dat een balans vindt tussen efficiëntie en detectie van lokale details superieur is aan simpelweg het grootste beschikbare systeem gebruiken. Het benadrukt dat de grootste uitdaging ligt in het onderscheiden van visueel gelijkaardige, zeldzame karakters in plaats van het omgaan met de variatie van veelvoorkomende. Door een gestandaardiseerde benchmark vast te stellen, hebben de onderzoekers de gemeenschap een gemeenschappelijke taal gegeven om vooruitgang te bespreken, waardoor toekomstige verbeteringen gemeten kunnen worden tegen een solide, reproduceerbare basis in plaats van tegen geïsoleerde, onvergelijkbare experimenten. De weg vooruit houdt in dat deze inzichten worden gebruikt om gespecialiseerde methoden voor de zeldzame karakters te ontwikkelen en om systemen te bouwen die de fysieke degradatie die inherent is aan de historische verslaglegging kunnen weerstaan.