Enabling Stroke-Level Structural Analysis of Hieroglyphic Scripts without Language-Specific Priors

1. Il Problema

I sistemi di scrittura geroglifici (come i caratteri cinesi moderni, i Kanji giapponesi e gli antichi geroglifici cinesi come l'Oracolo su ossa) codificano informazioni semantiche e culturali nella loro composizione strutturale interna. Tuttavia, le attuali tecnologie avanzate presentano limiti significativi nell'analisi di queste strutture:

• Limiti degli LLM e MLLM: I Large Language Models (LLM) trattano i caratteri come token testuali astratti, perdendo completamente la struttura interna. I Multimodal Large Language Models (MLLM) li elaborano come griglie di pixel, catturando l'aspetto visivo ma fallendo nel modellare le relazioni logiche tra i tratti (stroke) e i principi compositivi sottostanti.
• Limiti dei metodi esistenti: Le tecniche di analisi strutturale attuali sono spesso specifiche per una singola scrittura, richiedono un'enorme quantità di annotazioni manuali laboriose e dipendono da conoscenze linguistiche predefinite (come inventari di tratti o regole di decomposizione). Questo ne limita la scalabilità e la generalizzazione ad altre scritture geroglifiche o pittografiche meno studiate.

L'obiettivo è creare un framework che possa inferire la struttura a livello di tratto direttamente dai pattern visivi, senza dipendere da definizioni specifiche per la scrittura o annotazioni manuali.

2. Metodologia: HieroSA

Gli autori propongono HieroSA (Hieroglyphic Stroke Analyzer), un framework generalizzabile basato sul Reinforcement Learning (RL) che permette agli MLLM di derivare automaticamente strutture a livello di tratto da immagini bitmap.

Rappresentazione del Tratto

• Il metodo mappa un'immagine binarizzata del carattere (tratto nero su sfondo bianco) in una rappresentazione geometrica in uno spazio di coordinate normalizzato.
• Ogni carattere è modellato come un insieme di segmenti di linea, definiti dalle coordinate dei loro due estremi ($S = \{(p_s, p_e)\}$).
• Non vengono utilizzati parametri per forme curve complesse; il modello impara ad approssimare tali strutture decomponendole in più segmenti di linea flessibili.

Design della Ricompensa (Reward Design)

L'addestramento si basa esclusivamente sulle immagini bitmap, senza etichette esterne. La funzione di ricompensa è composta da tre fasi:

1. Identificazione dei tratti validi: Si verifica se i punti campionati lungo un segmento di linea previsto ricadono all'interno della regione dei pixel neri. I tratti che escono dall'area del carattere sono marcati come invalidi.
2. Stima della copertura (Coverage): Per ogni tratto valido, si stima una regione poligonale di copertura espandendo il segmento nelle direzioni normale e tangente fino ai bordi bianco/nero dell'immagine.
3. Aggregazione della ricompensa: Si calcola la sovrapposizione totale tra le regioni di copertura dei tratti validi e i pixel neri dell'immagine originale.
   • Si applica una penalità per i tratti invalidi o ridondanti (che non aggiungono nuova copertura).
   • La ricompensa finale bilancia la massimizzazione della copertura del primo piano (foreground) e la minimizzazione dei tratti errati.

Paradigma di Addestramento

• Viene utilizzato l'algoritmo Group Relative Policy Optimization (GRPO), una tecnica RL nota per migliorare le capacità di ragionamento.
• La ricompensa totale combina la ricompensa strutturale ($r_s$) e una ricompensa per il formato ($r_f$) per garantire che l'output sia strutturato e parsabile.

3. Contributi Chiave

1. Nuovo Framework di Addestramento: Introduce un metodo che permette agli MLLM di catturare e modellare strutture a livello di tratto senza dati annotati, fornendo un accesso esplicito alle informazioni strutturali interne.
2. Generalizzazione Senza Priors Linguistici: I risultati sperimentali dimostrano che HieroSA generalizza coerentemente su più sistemi di scrittura pittografica (Cinese, Giapponese, Scritture su Ossa di Oracolo) senza richiedere competenze linguistiche esterne o annotazioni specifiche.
3. Utilità per Task a Valle: Dimostra che le rappresentazioni dei tratti generate da HieroSA migliorano task downstream come il riconoscimento ottico dei caratteri (OCR) e l'esplorazione strutturale dei geroglifici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre sistemi di scrittura: Cinese (ZH), Giapponese (JA) e Scritture su Ossa di Oracolo (OBS).

• Metriche di Valutazione:
  • RE (Reward): Allineamento con l'obiettivo di addestramento.
  • CO (Coverage): Percentuale di pixel neri coperti dai tratti previsti.
  • IS (Invalid Strokes): Percentuale di tratti errati o ridondanti.
• Confronto con Baseline: HieroSA supera significativamente:
  • MLLM potenti (GPT-5, Claude Sonnet 4).
  • Modelli base (Qwen3-VL-4B).
  • Metodi di segmentazione lineare computer-vision (ELSED, DeepLSD).
  • Esempio: Su caratteri cinesi, HieroSA ottiene un CO del 78,5% contro il 3,6% di GPT-5 e un IS del 6,1% contro l'88,2% di GPT-5.
• Analisi Qualitativa: I tratti previsti catturano gli scheletri strutturali principali mantenendo la connettività essenziale, risultando coerenti visivamente.
• Task Downstream:
  • OCR: L'uso delle rappresentazioni dei tratti migliora l'accuratezza OCR rispetto all'addestramento senza tali rappresentazioni.
  • Esplorazione Strutturale: Il metodo permette di trovare caratteri con identità diverse ma strutture simili (es. varianti di geroglifici egizi o simboli Dongba), rivelando relazioni semantiche latenti anche in scritture poco documentate.

5. Significato e Implicazioni

Il lavoro di HieroSA rappresenta un passo avanti fondamentale nell'analisi computazionale delle scritture geroglifiche:

• Democratizzazione dell'Analisi: Rimuove la barriera dell'annotazione manuale e della conoscenza linguistica specialistica, rendendo possibile l'analisi strutturale di scritture antiche o rare per cui non esistono standard di decomposizione.
• Nuova Prospettiva per gli MLLM: Trasforma gli MLLM da semplici riconoscitori di pixel o token in strumenti capaci di comprendere la logica compositiva dei caratteri.
• Strumento di Decifrazione: Si propone come uno strumento scalabile per la "grafematica computazionale", aiutando a scoprire relazioni strutturali e semantiche nascoste in sistemi di scrittura non ancora completamente decifrati o poco studiati.

In sintesi, HieroSA offre un approccio "agnostico rispetto alla scrittura" per decodificare la logica interna dei caratteri, ponendo le basi per una comprensione più profonda delle scritture umane attraverso l'intelligenza artificiale.