Leveraging GenAI for Segmenting and Labeling Centuries-old Technical Documents

Questo articolo presenta un approccio innovativo che combina modelli di intelligenza generativa come SAM2, Florence2 e ChatGPT con un'ontologia specializzata per segmentare e etichettare trattati storici sulla costruzione navale del XVI e XVII secolo, superando le sfide legate alla scarsità di dati di addestramento e alla specializzazione del dominio per migliorare la curatela e l'accessibilità di documenti storici preziosi.

L'essenziale

Immagina di avere una biblioteca antica piena di libri di navigazione del 1500 e 1600. Questi libri sono pieni di disegni complessi di navi, con centinaia di parti diverse: alberi, vele, timoni, e pezzi di legno che hanno nomi strani e specifici. Oggi, questi libri sono digitalizzati (scansionati), ma c'è un grosso problema: sono come un'enorme scatola di Lego senza istruzioni. Sappiamo che ci sono pezzi, ma non sappiamo come chiamarli o dove vanno esattamente, e senza queste informazioni, è difficile per gli studiosi o il pubblico trovare quello che cercano.

Questo articolo racconta come un gruppo di ricercatori dell'Università di St. Thomas stia usando l'Intelligenza Artificiale Generativa (la stessa tecnologia dietro a ChatGPT) per risolvere questo mistero.

Ecco come funziona il loro metodo, spiegato con delle metafore semplici:

1. Il Problema: Gli Occhi dell'AI si Confondono

Le intelligenze artificiali moderne sono bravissime a riconoscere cose nelle foto di oggi. Se mostri a un'AI una foto di un cane o di un'auto, la riconosce subito perché ha "visto" milioni di foto simili su internet.
Ma queste vecchie navi? Sono diverse. I disegni sono antichi, lo stile è unico e i nomi delle parti sono tecnici. È come chiedere a un bambino di riconoscere un motore di un'auto d'epoca del 1920: potrebbe dire "è una macchina", ma non saprà dirti che quella leva è lo "sterzo" e quell'altra è il "cambio". Manca il "manuale di istruzioni" (i dati di addestramento) specifico per queste navi antiche.

2. La Soluzione: Un Team di Super-Eroi Digitali

I ricercatori hanno creato una catena di montaggio digitale con tre "eroi" che lavorano insieme:

• L'Osservatore (SAM2): Immagina un detective con una lente d'ingrandimento magica. Questo programma guarda il disegno della nave e dice: "Ehi, qui c'è un pezzo isolato, e lì c'è un altro pezzo". Li stacca mentalmente dal resto del disegno, proprio come se li avesse ritagliati con le forbici.
• Il Traduttore (ChatGPT e Florence2): Una volta che l'Ossatore ha isolato i pezzi, il Traduttore deve dire cosa sono. Qui è dove le cose si complicano. Se chiedi a un'AI generica "cos'è questo?", potrebbe rispondere "è un pezzo di legno". Ma i ricercatori hanno fatto un trucco intelligente: invece di chiedere a caso, hanno dato all'AI un vocabolario speciale e un manuale di regole (chiamati glosShip e ontoShip) creato da esperti di archeologia navale.
  • L'analogia: È come se invece di chiedere a un turista "cosa vedi?", dessi a un architetto esperto una lista di nomi tecnici e gli dicessi: "Guarda questo disegno e dimmi quale di questi nomi tecnici corrisponde a quella forma".
• Il Cartografo: Alla fine, il sistema disegna dei rettangoli (cornici) intorno a ogni pezzo e scrive il nome corretto accanto, rendendo il disegno "cercabile".

3. I Risultati: Un Tiro alla Corda tra Precisione e Confusione

Il paper mostra che questo metodo funziona, ma non è perfetto.

• Il lato positivo: L'AI riesce a trovare molti più dettagli rispetto ai metodi vecchi. Riesce a dire "qui c'è una vela" e "qui c'è una corda", cose che prima venivano ignorate.
• Il lato negativo: A volte l'AI si sbaglia. Come quando un bambino impara nuove parole e le usa nel modo sbagliato. L'AI potrebbe chiamare una carrucola "un asse" o un bordo del libro "un oggetto appuntito".
• La lezione: Più si dà contesto all'AI (spiegandole che stiamo parlando di navi, non di moto o di assicurazioni), più diventa brava. È come insegnare a un cane: se gli dici "seduto" senza contesto, potrebbe confondersi; se gli dai il comando specifico nel momento giusto, obbedisce.

4. Perché è Importante?

Immagina di voler trovare tutti i disegni che mostrano come si costruiva la chiglia di una nave nel 1600. Senza questo sistema, dovresti sfogliare migliaia di pagine a mano. Con questo sistema, l'AI ha "etichettato" ogni pezzo, rendendo possibile cercare "chiglia" e trovare istantaneamente tutti i disegni pertinenti.

In sintesi:
I ricercatori stanno insegnando alle macchine a diventare dei "curatori digitali" esperti. Stanno prendendo disegni antichi e confusi e, usando l'intelligenza artificiale guidata da esperti umani, li stanno trasformando in un catalogo digitale intelligente. È come se stessero dando una voce a documenti vecchi di secoli, permettendo a chiunque di esplorare la storia della navigazione con la stessa facilità con cui oggi cerchiamo una foto di gatto su Google.

Sommario tecnico

Titolo: Sfruttamento della GenAI per la Segmentazione e l'Etichettatura di Documenti Tecnici Secolari

1. Il Problema

Il paper affronta la sfida di applicare tecniche avanzate di elaborazione delle immagini (segmentazione e riconoscimento) a collezioni di documenti storici digitalizzati, in particolare i trattati sulla costruzione navale del XVI e XVII secolo (l'Età delle Scoperte).
Le difficoltà principali risiedono in due fattori:

• Mancanza di dati di addestramento: A differenza delle immagini moderne (es. foto di strada o ritratti) per le quali esistono miliardi di esempi, le immagini storiche tecniche sono scarse e non disponibili in grandi dataset per l'addestramento di modelli AI.
• Specializzazione del dominio: Le illustrazioni nei trattati navali contengono oggetti complessi e termini tecnici specifici (es. parti di una nave come Alifez, Quilha, Codaste). I modelli generici faticano a interpretare queste illustrazioni senza una conoscenza profonda del dominio nautico, portando a errori di riconoscimento o a una descrizione superficiale delle scene.

L'obiettivo è automatizzare la curatela, la catalogazione e la diffusione di queste collezioni preziose, rendendole accessibili a studiosi e al pubblico.

2. Metodologia

Gli autori propongono una pipeline di elaborazione in tre fasi, integrata con conoscenze di dominio specifiche (ontologie e glossari):

• Fase 1: Segmentazione delle Immagini

  • Viene utilizzato SAM2 (Segment Anything Model 2) di Meta per identificare e isolare le diverse parti di un'immagine.
  • Il paper confronta SAM2 con l'algoritmo classico Watershed (tramite OpenCV). SAM2 dimostra una granularità superiore, riuscendo a segmentare non solo l'oggetto principale (es. l'intera nave), ma anche i suoi componenti interni (es. chiglia, timone, alberi) e persino elementi di disturbo come macchie di inchiostro o testo.

• Fase 2: Generazione delle Etichette (Labeling)

  • Vengono testati diversi approcci per generare descrizioni e tag:
    1. Approcci tradizionali: Uso di modelli come BLIP, NLTK, Tag2Text e RAM (Recognize Anything Model) combinati con GroundingDINO per associare i tag alle caselle di delimitazione (bounding boxes).
    2. Approccio GenAI: Utilizzo di ChatGPT e Florence-2 per generare descrizioni dettagliate e definizioni contestuali.
  • Sfida: I modelli generici tendono a produrre "falsi positivi" o definizioni ambigue (es. confondere un "rider frame" navale con un componente di una motocicletta).

• Fase 3: Integrazione con Conoscenza di Dominio (Ontologia e Glossario)

  • Per risolvere l'ambiguità, gli autori integrano due risorse curate:
    • ontoShip: Un'ontologia specializzata contenente circa 250 concetti di architettura navale in legno, che definisce proprietà funzionali e spaziali (es. relazioni tra parti, posizione sulla chiglia).
    • glosShip: Un glossario multilingue di termini nautici.
  • Strategia: Invece di usare prompt generici, le definizioni del glossario e i concetti dell'ontologia vengono utilizzati per "espandere le query" (query expansion) e fornire contesti specifici ai modelli GenAI, migliorando la precisione delle etichette.

3. Contributi Chiave

• Pipeline Ibrida: Sviluppo di un flusso di lavoro che combina segmentazione di stato dell'arte (SAM2), modelli di visione artificiale (GroundingDINO, Florence-2) e Large Language Models (ChatGPT) potenziati da conoscenza strutturata (ontologie).
• Validazione del Ruolo dell'Ontologia: Dimostrazione che l'uso di un'ontologia di dominio (ontoShip) e di un glossario specializzato (glosShip) è cruciale per ridurre le allucinazioni dei modelli GenAI in contesti tecnici storici.
• Confronto Algoritmico: Analisi comparativa tra SAM2 e Watershed, e tra diversi modelli di generazione di tag (BLIP vs. RAM vs. ChatGPT), evidenziando come la granularità della segmentazione influenzi la qualità dell'indicizzazione.

4. Risultati

• Segmentazione: SAM2 ha superato significativamente l'algoritmo Watershed, identificando una maggiore quantità di dettagli geometrici e componenti specifici nelle illustrazioni antiche, inclusi elementi che i metodi tradizionali ignoravano (es. testo, macchie di inchiostro).
• Etichettatura:
  • I modelli puri (come RAM o BLIP) hanno mostrato risultati variabili e spesso imprecisi sui termini tecnici.
  • L'uso di ChatGPT ha prodotto descrizioni più ricche e ha identificato più oggetti, ma ha generato anche falsi positivi se non guidato correttamente (es. etichettatura errata di carrucole come "assi").
  • L'approccio che integra le definizioni di glosShip e ontoShip nei prompt ha dimostrato il potenziale per fornire etichette più accurate e contestualizzate, avvicinandosi a una "verità fondamentale" (ground truth) curata da umani.
• Limitazioni: La qualità delle etichette dipende fortemente dalla formulazione dei prompt e dalla capacità del modello di interpretare il contesto storico-tecnico.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo delle Digital Humanities e dell'Archeologia Navale.

• Accessibilità: Permette di rendere ricercabili e fruibili collezioni di migliaia di immagini storiche (circa 4.000 immagini da 14 trattati) che altrimenti rimarrebbero "silenziose" per i motori di ricerca tradizionali.
• Riproducibilità: La metodologia proposta non è limitata all'architettura navale; può essere adattata ad altri domini specializzati (medicina, arte, storia dell'architettura) dove la mancanza di dati di addestramento e la necessità di conoscenza esperta sono ostacoli comuni.
• Futuro: Il team intende espandere il lavoro su tutta la collezione, sviluppare metriche quantitative per valutare la qualità delle etichette generate dall'AI rispetto ai dati curati dagli esperti, e testare combinazioni avanzate di modelli (es. Florence-2 + ChatGPT) per automatizzare completamente il processo di catalogazione.