Technische Samenvatting: Voorbij Geaggregeerde Metrieken – Het Diagnostiseren van de Long-Tail Failure bij het Detecteren en Erkennen van Oracle Bone Karakters

1. Probleemstelling

Het artikel behandelt de uitdaging van het automatisch detecteren en herkennen van oracle bone karakters (OBI) op afdrukken (rubbings), een cruciale instaptas voor AI-ondersteund paleografisch onderzoek. Waar eerder werk benchmarks vaststelde voor karakterlokalisatie (het vinden waar een karakter zich bevindt), maakt de recente release van de Oracle Bone Inscription Multi-modal Dataset (OBIMD) de eerste grootschalige evaluatie van volledige beeld-detectie en -herkenning (het identificeren van het specifieke glyph) mogelijk.

Het kernprobleem dat wordt geïdentificeerd, is een extreme long-tailed class distribution (een extreem lange staart in de klassenverdeling). OBIMD bevat meer dan 1.700 glyph-categorieën, maar de trainingsdata is zwaar scheefgetrokken:

• Head classes: ~133 categorieën met >100 instanties.
• Few-shot classes: ~1.022 categorieën met slechts 1–5 instanties.
• Unseen classes: 69 categorieën met nul trainingsinstanties.

De auteurs stellen dat standaard geaggregeerde evaluatiemetrieken (bijv. de algehele mAP) ernstige prestatiefouten op deze zeldzame klassen verhullen. Een directe multi-class YOLO-baseline bereikt een respectabele AP50 van 0,63, maar de prestaties op few-shot klassen storten in naar een AP50 van slechts 0,06. Het artikel stelt dat de bottleneck niet de lokalisatie is (die robuust is), maar de koppeling van lokalisatie met long-tailed herkenning binnen een enkele detectie-head.

2. Methodologie

Diagnostisch Kader

De auteurs stellen een frequentiebewust gestratificeerd evaluatieprotocol voor dat de prestaties opdeelt in de groepen Head, Medium, Long-tail, Few-shot en Unseen. Dit protocol onthult dat geaggregeerde metrieken de "rare-class collapse" (het instorten van prestaties bij zeldzame klassen) maskeren.

Voorgestelde Oplossing: FAR-YOLO

Om het koppelingsprobleem aan te pakken, introduceren de auteurs FAR-YOLO (Frequency-Aware Recognition YOLO), een minimale gedecoupleerde baseline die is ontworpen om het leren van lokalisatie te scheiden van herkenning:

1. Klasse-agnostische Lokalisatie: Een YOLO11s-detector wordt getraind om uitsluitend "oracle character" regio's te identificeren (voorgrond versus achtergrond) zonder specifieke glyph-klassen te voorspellen. Deze tak optimaliseert voor kandidaat-dekking en is robuust tegen klasse-imbalans.
2. Frequentiebewuste Herkenning: Voor elke gedetecteerde bounding box wordt een crop geëxtraheerd en doorgegeven aan een aparte ResNet18-herkenner. Deze tak wordt getraind met specifieke strategieën om de long tail aan te pakken:
   • Exposure Rebalancing: Zeldzame klassen (Long-tail en Few-shot) worden tijdens de training up-sampled met groep-afhankelijke gewichten (bijv. gewicht $\beta=8$ voor few-shot klassen) om hun optimalisatie-expositie te vergroten zonder de detector te veranderen.
   • Morfologie-preserverende Augmentatie: Data-augmentatie wordt strikt toegepast om de penseelstreek-topologie en semantische identiteit te behouden (het vermijden van agressieve flips of vervormingen die gebruikelijk zijn bij algemene OCR), zodat de zeldzame glyphs valide blijven.
3. Confidence-Gated Fusion: De uiteindelijke score is het product van de lokalisatie-betrouwbaarheid en de herkenningswaarschijnlijkheid. Het systeem gebruikt een rejectiemechanisme: als de maximale betrouwbaarheidsscore onder een drempelwaarde $\tau$ valt, wordt de voorspelling afgewezen in plaats van geforceerd in een closed-set label, wat ruimte biedt voor expertverificatie of zoekopdrachten met hulp van retrieval.

3. Belangrijkste Bijdragen

1. Taakstructuur Diagnose: Het artikel toont aan dat voor de detectie van oracle bones de klasse-agnostische lokalisatie al sterk is (AP50 $\approx$ 0,85), en dat de primaire bottleneck de long-tailed herkenning is. Het laat zien dat naïeve inverse-frequentie herweging binnen een standaard detectie-head contraproductief is, omdat het de algehele prestaties verslechtert terwijl het nauwelijks helpt bij zeldzame klassen.
2. Frequentiebewuste Evaluatie: De auteurs introduceren en publiceren een gestratificeerde evaluatiesuite die de prestaties uitsplitst naar frequentiegroepen, waarmee wordt aangetoond hoe geaggregeerde metrieken het falen van modellen op zeldzame, historisch belangrijke karakters maskeren.
3. FAR-YOLO Baseline: Een gedecoupleerde architectuur die de few-shot AP50 met 10,5 procentpunt verbetert (van 0,06 naar 0,17) en de class-balanced AP50 met 3,7 punten, terwijl de algehele AP50 van de directe detector behouden blijft.
4. Inzicht in Kandidaat-Ranking: Door middel van een top-5 kandidaat-analyse laten de auteurs zien dat bij zeldzame glyphs de correcte identiteit vaak aanwezig is in de top-5 gerangschikte kandidaten, zelfs wanneer de top-1 voorspelling fout is. Dit suggereert dat de fout vaak ligt bij de gedwongen keuze voor één enkel label in plaats van bij de visuele representatie.

4. Resultaten

• Geaggregeerd versus Gestratificeerd Presteren: De directe multi-class YOLO behaalt een algehele AP50 van 0,6347 maar faalt op few-shot klassen (0,0611). Het toepassen van klasse-herweging op de directe detector verlaagt de algehele AP50 naar 0,5285 met een verwaarloosbare winst voor few-shot klassen (0,0770).
• Gedecoupleerde Prestaties: FAR-YOLO behaalt een algehele AP50 van 0,6533 (iets beter dan de directe baseline) terwijl de few-shot AP50 aanzienlijk wordt verhoogd naar 0,1660 en de class-balanced AP50 naar 0,3767.
• Ablatie-studies:
  • Oversampling alleen verbetert de metrieken van zeldzame klassen zonder de algehele prestaties te schaden.
  • Augmentatie alleen verbetert de algehele AP50 maar slaagt er niet in de few-shot herkenning te verbeteren.
  • Combinatie: De synergie tussen oversampling en morfologie-preserverende augmentatie levert de beste resultaten op.
• Top-5 Analyse: Het versoepelen van de evaluatie van Top-1 naar Top-5 matching verdubbelt de few-shot AP50 voor de cross-entropy cascade (van 0,0790 naar 0,1713), wat aangeeft dat het model de correcte glyph vaak wel "kent", maar faalt in het rangschikken als nummer één.
• Efficiëntie: FAR-YOLO is ongeveer 28,5% trager dan de directe detector (38,22 FPS tegenover 49,12 FPS), maar blijft praktisch bruikbaar voor offline verwerking.

5. Betekenis en Claims

Het artikel claimt dat het vakgebied verder moet kijken dan het optimaliseren van geaggregeerde metrieken en "detector engineering" voor de herkenning van oracle bones. De primaire betekenis ligt in:

• Herformulering van de Bottleneck: Het vaststellen dat de moeilijkheid ligt in de long-tailed herkenning van zeldzame glyphs, en niet in het vinden van de karakters zelf.
• Evaluatiehervorming: Het argument dat toekomstig onderzoek frequentiebewuste protocollen moet adopteren om te voorkomen dat het falen van modellen op zeldzame, historisch significante karakters verborgen blijft.
• Verschuiving in Systeemontwerp: Het voorstel dat praktische systemen afscheid moeten nemen van closed-set gedwongen classificatie ten gunste van kandidaat-ranking, retrieval-ondersteunde herkenning en human-in-the-loop verificatie. De auteurs benadrukken dat aangezien zeldzame glyphs vaak aanwezig zijn in de top-k kandidaten, het doel moet zijn om de expert-selectie te faciliteren in plaats van een enkel geautomatiseerd label af te dwingen.

De auteurs blijven bescheiden en erkennen dat, zelfs met ontkoppeling en herweging, de few-shot prestaties (0,17 AP50) nog lang verwijderd zijn van "bruikbaar" voor volledig geautomatiseerde interpretatie, en dat de studie momenteel beperkt is tot de OBIMD rubbing-modaliteit.