A novel network for classification of cuneiform tablet metadata

Probleemstelling

De paper adresseert de uitdaging om metadata van kleitabletten met spijkerschrift (cuneiform) te classificeren. Hoewel er honderdduizenden tabletten zijn opgegraven die cruciaal zijn voor het begrijpen van oude beschavingen, is het aantal experts beperkt, waardoor de meeste tabletten niet geanalyseerd kunnen worden.

• Data-uitdaging: Bestaande datasets zijn zeer klein (337 tot 747 tabletten), wat het risico op overfitting vergroot.
• Representatie-uitdaging: Tabletten zijn inherent 3D-objecten waarbij tekst vaak rond hoeken loopt. Het reduceren naar 2D-beelden resulteert in informatieverlies.
• Model-uitdaging: State-of-the-art transformer-modellen (zoals Point-BERT) vereisen doorgaans grote hoeveelheden trainingsdata voor pre-training, wat niet beschikbaar is in dit domein. Bestaande 3D-methoden kampen vaak met beperkingen in het verwerken van zeer hoge resolutie point clouds (tot 32.768 punten per tablet) zonder geheugenproblemen.

Methodologie

De auteurs presenteren een nieuwe, op convolutie geïnspireerde architectuur voor point cloud classificatie die speciaal is ontworpen om te werken met beperkte data en hoge resolutie.

1. Netwerktopologie:
Het netwerk combineert de hiërarchische down-sampling van PointNet++ met de lokale nabijheidsberekeningen van DGCNN (Dynamic Graph CNN).

• Down-sampling: De point cloud wordt stapsgewijs verkleind (van 32.768 naar 1.024 punten) om het receptieve veld te vergroten.
• Nabijheidsberekening:
  • In de lagere lagen (ruimtelijke pyramide) worden buren berekend op basis van ruimtelijke afstand (CPU-gebaseerd, efficiënt voor grote datasets) in plaats van feature-ruimte, om geheugenproblemen te voorkomen.
  • In de bovenste laag (na down-sampling) worden buren berekend in de feature-ruimte om globale informatie te integreren.
• Nieuwe Operatoren: De auteurs introduceren twee nieuwe convolutie-operatoren om de representatie te verfijnen:
  • VertexConv: Verwijdert het verschil-term en verwerkt alleen de punt- en buurfeatures (aggregatie van features).
  • EdgeVertexConv: Integreert globale ruimtelijke context door ruimtelijke verschillen te combineren met feature-aggregatie.
• Dilatatie: Net als bij Dilated Convolutions worden er gaten gelaten in de nabijheidszoekopdracht (dilatatie factor 2 in lagen 3 en 4) om het receptieve veld verder te vergroten zonder extra down-sampling.
• Feature Aggregatie: Features uit alle lagen worden geconcateneerd en verwerkt door een 1D-convolutie voordat een MaxPool-laag wordt toegepast.

2. Training:

• Loss Functie: Gebruik van Focal Loss om het probleem van onbalans in de klassen (kleine datasets) aan te pakken.
• Data Augmentatie: Toepassing van "jitter" (ruis) op de punten om generalisatie te verbeteren.
• Vergelijking: Het model wordt vergeleken met Point-BERT (voorgeladen op ULIP-2), waarbij alleen de classificatiekop wordt gefinetuned terwijl de weights bevroren blijven.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: Een hybride netwerk dat PointNet++ down-sampling en DGCNN nabijheidsfeatures combineert, aangevuld met nieuwe operatoren (VertexConv, EdgeVertexConv) en dilatatie, specifiek geoptimaliseerd voor grote point clouds met beperkte trainingsdata.
2. Nieuwe Taak (Tablet Oriëntatie): Introductie van een nieuwe classificatietak om te bepalen of de voorkant van een tablet naar de camera is gericht of weg. Dit is een complexe taak die baat heeft bij 3D-geometrie (de voorkant is vaak platter).
3. Dataset Correctie: Het model detecteert een fout in de bestaande dataset (tablet "HS 2274" was verkeerd georiënteerd), wat aantoont dat het model bruikbaar is voor data-validatie.
4. Benchmarking: Een uitgebreide vergelijking met Point-BERT op meerdere datasets en taaktypes.

Resultaten

De resultaten tonen aan dat het voorgestelde netwerk consistent beter presteert dan de state-of-the-art Point-BERT, zelfs op zeer kleine datasets.

• Periode Classificatie:
  • Op de kleinste dataset (337 tabletten): 96% F1-score (vs. 89% voor Point-BERT).
  • Op de volledige dataset (747 tabletten): 99% F1-score (nieuw state-of-the-art).
• Meta-data Classificatie (Zegel & Links):
  • Zegel aanwezigheid: 100% nauwkeurigheid (vs. 91% voor baselines).
  • Linkerzijde tekens: 97% nauwkeurigheid.
• Tablet Oriëntatie:
  • Het model bereikt 98,5% nauwkeurigheid op de oriëntatietask (vs. 77% voor Point-BERT).
  • Bij het vereisen van overeenstemming tussen twee weergaven wordt 100% precisie behaald.
• Ablatie Study:
  • Normaalvectoren leveren de grootste prestatieverbetering op.
  • Dilatatie levert de kleinste, maar nog steeds positieve, bijdrage.
  • Het model blijft superieur aan Point-BERT, zelfs wanneer het aantal inputpunten wordt gereduceerd tot 8192 (de standaard voor Point-BERT).

Betekenis en Conclusie

De paper demonstreert dat voor domeinen met beperkte trainingsdata en complexe 3D-structuren, een goed gestructureerd, op convolutie gebaseerd netwerk superieur kan zijn aan grote transformer-modellen die op grote datasets zijn voorgeladen.

• Praktische Impact: De methentie biedt een robuust kader voor het automatisch analyseren van archeologische vondsten, wat de werklast voor experts verlaagt.
• Data Kwaliteit: Het vermogen om fouten in datasets (zoals verkeerd georiënteerde scans) te detecteren, toont de betrouwbaarheid van het model.
• Toekomst: De auteurs suggereren dat deze aanpak kan worden uitgebreid naar andere point cloud taken en dat het combineren met LLM's (zoals PointLLM) de link tussen 3D-geometrie en semantische vertaling kan versterken.

Kortom, dit werk levert een nieuwe state-of-the-art methode voor 3D-klassificatie in de archeologie, die de beperkingen van bestaande transformer-modellen overwint door een efficiëntere, datagestuurde architectuur.