A novel network for classification of cuneiform tablet metadata

Diese Arbeit stellt ein neuartiges, konvolutional inspiriertes Netzwerk vor, das die Klassifizierung von Metadaten keilschriftlicher Tontafeln durch eine schrittweise Down-Skalierung der Punktwolken und die Integration lokaler sowie globaler Informationen ermöglicht und dabei die Leistungsfähigkeit des aktuellen State-of-the-Art-Modells Point-BERT übertrifft.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen Berg aus alten, lehmigen Tafeln. Diese sind über 4.000 Jahre alt und tragen keilförmige Schriftzeichen (Keilschrift). Das Problem: Es gibt Hunderttausende dieser Tafeln, aber nur sehr wenige Experten, die sie lesen und einordnen können. Es ist, als ob man versucht, eine ganze Bibliothek zu sortieren, aber nur einen einzigen Bibliothekar hat.

Um dieses Problem zu lösen, haben die Forscher eine neue Art von „künstlichem Gehirn" (ein neuronales Netzwerk) entwickelt. Hier ist die Erklärung, wie das funktioniert, ohne komplizierte Fachbegriffe:

1. Das Problem: Warum 2D-Fotos nicht reichen

Die meisten Computerprogramme schauen sich Bilder flach an (wie ein Foto). Aber diese Keilschrift-Tafeln sind dreidimensionale Objekte. Die Schrift windet sich oft um die Ecken herum. Wenn man sie flach auf ein Foto drückt, geht wichtige Information verloren – so als würde man versuchen, einen Globus auf ein Blatt Papier zu kleben, ohne dass er reißt oder verzerrt wird.

2. Die Lösung: Ein „Schichtkuchen"-Ansatz

Die Forscher haben ein neues System gebaut, das die Tafeln nicht als flache Bilder, sondern als Wolken aus Millionen von Punkten (Punktwolken) betrachtet. Stellen Sie sich vor, jede Tafel besteht aus unzähligen winzigen Sandkörnern.

Ihr neues Netzwerk funktioniert wie ein Schichtkuchen, der von unten nach oben gebaut wird:

• Die unteren Schichten (Die Details): Ganz unten schaut sich das Netzwerk ganz genau an, wie die Sandkörner direkt nebeneinander liegen. Es erkennt kleine Unebenheiten und lokale Muster. Das ist wie wenn man mit einer Lupe die feinen Rillen in der Schrift betrachtet.
• Die mittleren Schichten (Der Überblick): Dann wird der Kuchen schrittweise „zusammengedrückt" (herunter skaliert). Das Netzwerk fasst die Informationen zusammen. Es sieht nicht mehr jedes einzelne Sandkorn, sondern beginnt, größere Muster zu erkennen.
• Die oberste Schicht (Der große Zusammenhang): Ganz oben, wo nur noch wenige Punkte übrig sind, schaut das Netzwerk in den „Gesamtraum". Es vergleicht nun die verbleibenden Punkte nicht mehr nur nach ihrer räumlichen Nähe, sondern nach ihrer Bedeutung. Es fragt sich: „Wie passen diese Teile zusammen, um das ganze Bild zu ergeben?"

3. Der Trick: Warum es besser ist als die Konkurrenz

Es gab bereits einen sehr bekannten „Star" in diesem Bereich, genannt Point-BERT. Man kann sich Point-BERT wie einen sehr gebildeten Professor vorstellen, der eine riesige Bibliothek (viele Daten) gelesen hat und dann versucht, die kleinen Keilschrift-Tafeln zu verstehen. Er ist gut, aber er ist starr: Er erwartet, dass die Tafeln immer genau so aussehen, wie er sie gelernt hat.

Das neue Netzwerk der Forscher ist wie ein geschickter Handwerker:

• Es ist flexibler. Es kann mit Tafeln umgehen, die aus mehr oder weniger Sandkörnern bestehen.
• Es lernt schneller, weil es speziell für die kleinen, knappen Datenmengen dieser Tafeln gebaut wurde.
• Es nutzt eine spezielle Technik (Dilatation), bei der es beim Suchen nach Nachbarn „überspringt", um einen besseren Überblick zu bekommen, ohne die Details zu verlieren.

4. Der Erfolg: Mehr als nur Klassifizieren

Das Netzwerk wurde auf drei Arten getestet:

1. Zeitalter bestimmen: Es konnte besser als alle anderen erraten, aus welcher historischen Epoche eine Tafel stammt.
2. Details finden: Es erkannte, ob ein Siegel auf der Tafel war oder ob Schriftzeichen an der falschen Seite standen.
3. Die „Drehung"-Aufgabe (Die Überraschung): Das war die spannendste Aufgabe. Das Netzwerk sollte erkennen, ob die Tafel richtig herum liegt oder verkehrt.
   • Das Ergebnis: Das Netzwerk war so gut, dass es einen Fehler in der Datenbank der Forscher fand! Eine Tafel, die als „richtig" markiert war, wurde vom Netzwerk als „verkehrt" erkannt. Als die Forscher nachsahen, hatten sie recht: Die Tafel war tatsächlich falsch herum archiviert.

Fazit

Zusammenfassend haben die Forscher ein Werkzeug gebaut, das wie ein sehr aufmerksamer Archäologen-Assistent funktioniert. Es kann riesige Mengen an 3D-Daten verarbeiten, ohne dabei den Überblick zu verlieren, und ist sogar besser als die bisherigen „Super-Computer", wenn es um diese speziellen, alten Schätze geht.

Das Beste daran: Es hilft nicht nur, die Tafeln zu sortieren, sondern kann sogar Fehler in den Archiven finden und den echten Experten Zeit sparen, damit diese sich auf das wirklich Schwierige konzentrieren können.

Technische Zusammenfassung

1. Problemstellung

Das Papier adressiert die Herausforderung der automatisierten Klassifizierung von Metadaten keilschriftlicher Tontafeln.

• Datenvolumen vs. Experten: Es existiert ein riesiges Korpus an Tontafeln (Hunderttausende), das die verfügbare Anzahl an Experten zur manuellen Analyse bei weitem übersteigt.
• Datenrepräsentation: Tontafeln sind inhärent 3D-Objekte, bei denen der Text oft um Ecken verläuft. Die Umwandlung in 2D-Bilder führt zu Informationsverlust. Daher ist die Verarbeitung als 3D-Punktwolke (Point Cloud) notwendig.
• Herausforderungen: Die Aufgabe wird durch zwei Hauptfaktoren erschwert:
  1. Begrenzte annotierte Daten: Die verfügbaren Datensätze sind sehr klein (zwischen 337 und 747 Tafeln), was das Risiko von Overfitting erhöht.
  2. Hohe Auflösung: Die Punktwolken sind sehr detailliert (bis zu 32.768 Punkte pro Tafel), was rechenintensive Modelle erfordert.
• Ziel: Entwicklung eines Deep-Learning-Modells, das mit kleinen Datensätzen und großen Punktwolken effektiv umgehen kann, um Aufgaben wie die Datierung, das Erkennen von Siegeln oder die Bestimmung der Vorderseite der Tafel zu lösen.

2. Methodik

Der vorgeschlagene Ansatz ist ein neuartiges neuronales Netzwerk, das von Convolutional Neural Networks (CNNs) inspiriert ist, aber speziell für Punktwolken optimiert wurde.

• Architektur-Design:
  • Das Netzwerk kombiniert das Down-Sampling von PointNet++ mit der Nachbar-basierten Merkmalsberechnung von DGCNN (Dynamic Graph CNN).
  • Es folgt einer pyramidenförmigen Struktur, bei der die Punktwolke schrittweise verkleinert wird (von 32.768 auf 1.024 Punkte), wodurch das rezeptive Feld (Receptive Field) schrittweise vergrößert wird.
  • Lokale vs. Globale Information:
    • In den unteren Schichten werden Nachbarn basierend auf dem räumlichen Abstand (Spatial Neighbors) berechnet, um lokale geometrische Strukturen effizient zu erfassen.
    • In den oberen Schichten (nach dem Down-Sampling) werden Nachbarn im Merkmalsraum (Feature Space) berechnet, um globale Informationen zu integrieren.
• Neue Operatoren:
  • Das Netzwerk führt zwei neue Nachbarkonvolutionen ein, um die Leistung zu verbessern:
    1. VertexConv: Verarbeitet Punkt- und Nachbarmerkmale direkt ohne Differenzterm (imitiert Standard-Convolution).
    2. EdgeVertexConv: Kombiniert räumliche Unterschiede mit Merkmalsaggregation, um globale räumliche Kontexte in tieferen Schichten wieder einzuführen.
  • Zudem wird Dilation (Vergrößerung des Suchradius) in bestimmten Schichten verwendet, um das rezeptive Feld weiter zu erhöhen, ohne die Punktzahl drastisch zu reduzieren.
• Verarbeitungspipeline:
  1. Eingabe: Punktwolke (mit Normalenvektoren).
  2. Mehrstufiges Down-Sampling und Feature-Extraktion durch die genannten Operatoren.
  3. Concatenation aller Schicht-Features.
  4. 1D-Convolution zur Aggregation der Informationen über die Schichten hinweg.
  5. Global MaxPool und ein MLP-Klassifikationskopf.
• Training:
  • Verwendung von Focal Loss, um mit den unausgewogenen Klassen im Datensatz umzugehen.
  • Daten-Augmentierung durch zufälliges „Jittering" (Rauschen) der Punkte.
  • Vergleichsmodell: Ein feinabgestimmtes (Fine-tuned) Point-BERT (auf ULIP-2 vortrainiert), wobei die Backbone-Gewichte eingefroren sind und nur der Klassifikationskopf trainiert wird.

3. Wichtige Beiträge

1. Neue Netzwerkarchitektur: Entwicklung einer hybriden Struktur, die die Skalierbarkeit von PointNet++ mit der Effizienz von DGCNN für große Punktwolken verbindet.
2. Erweiterung der Nachbarkonvolutionen: Einführung von VertexConv und EdgeVertexConv zur besseren Integration lokaler und globaler Informationen.
3. Skalierbarkeit: Das Modell kann sehr große Punktwolken (bis zu 32.768 Punkte) verarbeiten, ohne dass Speicherprobleme auftreten, da das Down-Sampling die Komplexität reduziert.
4. Neue Klassifikationsaufgabe: Einführung der Aufgabe, die Vorderseite der Tafel zu erkennen (Orientierung zur Kamera). Dies ist eine schwierige Aufgabe, die stark von der 3D-Form abhängt.
5. Fehlererkennung im Datensatz: Das Modell identifizierte erfolgreich einen falsch orientierten Datensatz-Eintrag („HS 2274"), was die Zuverlässigkeit der Methode unterstreicht.

4. Ergebnisse

Die Methode wurde auf drei verschiedenen Klassifikationsaufgaben getestet und mit dem State-of-the-Art-Modell Point-BERT verglichen:

• Perioden-Klassifizierung (Datierung):
  • Auf Datensätzen mit 337, 631 und 747 Tafeln erzielte das vorgeschlagene Modell konsistent die besten Ergebnisse.
  • Bei der vollständigen Datengröße (747 Tafeln) wurde ein F1-Score von 0,99 erreicht (im Vergleich zu 0,93 für Point-BERT).
  • Das Modell übertraf Point-BERT auch bei kleinen Datensätzen, was die Überlegenheit strukturierter CNN-ähnlicher Architekturen bei begrenzten Daten zeigt.
• Siegel-Erkennung und Linker-Seiten-Zeichen:
  • Das Modell erreichte 100% Genauigkeit bei der Erkennung von Siegeln und 0,97 bei der Erkennung von Zeichen auf der linken Seite.
  • Dies beweist, dass das Netzwerk auch lokale Details effektiv erfassen kann.
• Tafel-Orientierung (Vorderseite):
  • Das Modell erreichte eine Genauigkeit von 98,5% (im Vergleich zu 77% bei Point-BERT).
  • Bei Anforderung einer Konsistenz über beide Ansichten der Tafel hinweg wurde eine Präzision von 100% erreicht.
• Ablationsstudie:
  • Die Analyse zeigte, dass Normalenvektoren den größten Leistungsbeitrag leisten.
  • Das Modell ist robust gegenüber der Anzahl der Eingabepunkte, während Point-BERT bei Änderung der Punktzahl (da vortrainiert auf 8192 Punkte) an Leistung verliert.

5. Bedeutung und Fazit

Das Papier demonstriert, dass für Aufgaben mit begrenzten Trainingsdaten und hochauflösenden 3D-Daten strukturierte, CNN-inspirierte Netzwerke Transformer-basierte Modelle (wie Point-BERT) übertreffen können.

• Praktische Relevanz: Die Methode bietet ein robustes Framework zur automatisierten Erschließung archäologischer Daten, was für die Entlastung von Experten und die Erschließung unanalysierter Tafelbestände entscheidend ist.
• Robustheit: Die Fähigkeit, mit variierenden Punktzahlen umzugehen und Fehler in den Ground-Truth-Daten zu erkennen, macht das System besonders wertvoll für den Einsatz in der Archäologie.
• Zukunftsausblick: Die Autoren schlagen vor, die Methode auf andere 3D-Datensätze zu erweitern oder sie mit LLM-basierten Modellen (wie PointLLM) zu kombinieren, um geometrische Daten direkt mit semantischen Übersetzungen zu verknüpfen.

Zusammenfassend stellt das vorgestellte Netzwerk einen neuen State-of-the-Art für die Klassifizierung von keilschriftlichen Tontafeln dar und zeigt, dass spezialisierte Architekturen oft besser geeignet sind als generische, vortrainierte Transformer-Modelle, wenn die Datenmenge klein und die Struktur komplex ist.