Sintesi Tecnica: Oltre le metriche aggregate – Diagnostica del fallimento a coda lunga del rilevamento e riconoscimento dei caratteri delle ossa oracolari

1. Definizione del problema

Il documento affronta la sfida del rilevamento e riconoscimento automatico dei caratteri delle ossa oracolari (OBI) su immagini di frottage, un compito critico per la ricerca paleografica assistita dall'IA. Mentre i lavori precedenti avevano stabilito benchmark per la localizzazione dei caratteri (trovare dove si trova un carattere), il recente rilascio dell'Oracle Bone Inscription Multi-modal Dataset (OBIMD) consente la prima valutazione su larga scala di rilevamento e riconoscimento a immagine intera (identificare lo specifico glifo).

Il problema centrale identificato è una distribuzione delle classi estremamente sbilanciata verso la coda lunga. L'OBIMD contiene oltre 1.700 categorie di glifi, ma i dati di addestramento sono fortemente asimmetrici:

• Classi "Head" (testa): ~133 categorie con >100 istanze.
• Classi "Few-shot" (poche istanze): ~1.022 categorie con solo 1–5 istanze.
• Classi "Unseen" (non viste): 69 categorie con zero istanze di addestramento.

Gli autori sostengono che le metriche di valutazione aggregate standard (ad es. mAP complessivo) nascondono gravi fallimenti su queste classi rare. Un baseline YOLO multi-classe diretto raggiunge un AP50 complessivo rispettabile di 0,63, ma le sue prestazioni sulle classi few-shot crollano a un AP50 di soli 0,06. Il documento postula che il collo di bottiglia non sia la localizzazione (che è robusta) ma l'accoppiamento tra localizzazione e riconoscimento a coda lunga all'interno di un singolo head di rilevamento.

2. Metodologia

Framework diagnostico

Gli autori propongono un protocollo di valutazione stratificato consapevole della frequenza che suddivide le prestazioni in gruppi Head, Medium, Long-tail, Few-shot e Unseen. Questo protocollo rivela che le metriche aggregate mascherano il "collasso delle classi rare".

Soluzione proposta: FAR-YOLO

Per affrontare il problema dell'accoppiamento, gli autori introducono FAR-YOLO (Frequency-Aware Recognition YOLO), un baseline minimo e disaccoppiato progettato per separare l'apprendimento della localizzazione dal riconoscimento:

1. Localizzazione agnostica rispetto alla classe: Un rilevatore YOLO11s viene addestrato esclusivamente per identificare le regioni dei "caratteri oracolari" (foreground vs. background) senza predire specifiche classi di glifi. Questo ramo ottimizza la copertura dei candidati ed è robusto allo sbilanciamento delle classi.
2. Riconoscimento consapevole della frequenza: Per ogni bounding box rilevato, viene estratta una porzione (crop) e passata a un riconoscitore ResNet18 separato. Questo ramo è addestrato con strategie specifiche per gestire la coda lunga:
   • Ribilanciamento dell'esposizione (Exposure Rebalancing): Le classi rare (Long-tail e Few-shot) vengono sovracampionate durante l'addestramento utilizzando pesi dipendenti dal gruppo (ad es., peso $\beta=8$ per le classi few-shot) per aumentare la loro esposizione all'ottimizzazione senza alterare il rilevatore.
   • Augmentation preservante la morfologia: L'augmentation dei dati è applicata rigorosamente per preservare la topologia dei tratti e l'identità semantica (evitando flip aggressivi o distorsioni comuni nell'OCR generale), garantendo che i glifi rari rimangano validi.
3. Fusione con gate di confidenza (Confidence-Gated Fusion): Il punteggio finale è il prodotto della confidenza di localizzazione e della probabilità di riconoscimento. Il sistema impiega un meccanismo di rifiuto: se il punteggio di confidenza massimo scende sotto una soglia $\tau$, la predizione viene rifiutata invece di essere forzata in un'etichetta a set chiuso, permettendo la verifica da parte di esperti o la ricerca assistita dal recupero.

3. Contributi chiave

1. Diagnosi della struttura del task: Il documento dimostra che per il rilevamento delle ossa oracolari, la localizzazione agnostica rispetto alla classe è già forte (AP50 $\approx$ 0,85), e il collo di bottiglia primario è il riconoscimento a coda lunga. Mostra che un ingenuo ripesaggio inverso della frequenza all'interno di uno standard detection head è controproducente, degradando le prestazioni complessive pur aiutando appena le classi rare.
2. Valutazione consapevole della frequenza: Gli autori introducono e rilasciano una suite di valutazione stratificata che suddivide le prestazioni per gruppi di frequenza, esponendo l'incapacità delle metriche aggregate di riflettere le capacità sulle classi rare.
3. Baseline FAR-YOLO: Un'architettura disaccoppiata che migliora l'AP50 few-shot di 10,5 punti percentuali (da 0,06 a 0,17) e l'AP50 bilanciato per classe di 3,7 punti, mantenendo l'AP50 del rilevatore diretto.
4. Insight sul ranking dei candidati: Attraverso l'analisi dei top-5 candidati, gli autori mostrano che per i glifi rari, l'identità corretta è frequentemente presente nei top-5 candidati del modello anche quando la predizione top-1 è errata. Ciò suggerisce che il fallimento è spesso dovuto all'impegno forzato su un'unica etichetta piuttosto che alla rappresentazione visiva.

4. Risultati

• Prestazioni aggregate vs. stratificate: Il YOLO multi-classe diretto raggiunge un AP50 complessivo di 0,6347 ma fallisce sulle classi few-shot (0,0611). Applicare il ripesaggio delle classi al rilevatore diretto riduce l'AP50 complessivo a 0,5285 con un guadagno trascurabile per le classi few-shot (0,0770).
• Prestazioni disaccoppiate: FAR-YOLO raggiunge un AP50 complessivo di 0,6533 (leggermente migliore del baseline diretto) aumentando significativamente l'AP50 few-shot a 0,1660 e l'AP50 bilanciato per classe a 0,3767.
• Studi di ablazione:
  • Il solo sovracampionamento (Oversampling) migliora le metriche delle classi rare senza danneggiare le prestazioni complessive.
  • L'augmentation da sola migliora l'AP50 complessivo ma non riesce a migliorare il riconoscimento few-shot.
  • Combinazione: La sinergia tra sovracampionamento e augmentation preservante la morfologia produce i risultati migliori.
• Analisi Top-5: Rilassare la valutazione dal matching Top-1 al matching Top-5 raddoppia l'AP50 few-shot per la cascata di cross-entropy (da 0,0790 a 0,1713), indicando che il modello spesso "conosce" il glifo corretto ma non riesce a classificarlo come primo.
• Efficienza: FAR-YOLO è circa il 28,5% più lento del rilevatore diretto (38,22 FPS contro 49,12 FPS) ma rimane pratico per l'elaborazione offline.

5. Significato e rivendicazioni

Il documento sostiene che il campo deve andare oltre l'ottimizzazione delle metriche aggregate e l' "ingegneria del rilevatore" per il riconoscimento delle ossa oracolari. Il significato primario risiede in:

• Riformulazione del collo di bottiglia: Stabilire che la difficoltà risiede nel riconoscimento a coda lunga dei glifi rari, non nel trovare i caratteri stessi.
• Riforma della valutazione: Sostenere che la ricerca futura debba adottare protocolli consapevoli della frequenza per evitare di mascherare il fallimento dei modelli su caratteri rari e storicamente significativi.
• Spostamento del design del sistema: Proporre che i sistemi pratici abbandonino la classificazione forzata a set chiuso a favore di ranking dei candidati, riconoscimento assistito dal recupero e verifica human-in-the-loop. Gli autori sottolineano che poiché i glifi rari sono spesso presenti tra i candidati top-k, l'obiettivo dovrebbe essere quello di facilitare la selezione dell'esperto piuttosto che forzare un'unica etichetta automatizzata.

Gli autori rimangono modesti, riconoscendo che anche con il disaccoppiamento e il ribilanciamento, le prestazioni few-shot (0,17 AP50) sono ancora lontane dall'essere "utilizzabili" per un'interpretazione completamente automatizzata, e lo studio è attualmente limitato alla modalità di frottage dell'OBIMD.