Contrastive-to-Self-Supervised: A Two-Stage Framework for Script Similarity Learning

Die vorgestellte Arbeit schlägt ein zweistufiges Framework vor, das durch den Übergang von kontrastivem Lernen auf künstlichen Alphabeten zu selbstüberwachtem Wissenstransfer auf historische Schriften eine robuste Ähnlichkeitsmessung für Glyphen ermöglicht, ohne dass ground-truth evolutionäre Beziehungen erforderlich sind.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, die Geschichte der Menschheit zu entschlüsseln, indem er sich nur alte Schriftzeichen ansieht. Das Problem dabei ist: Wir wissen genau, wie ein Buchstabe in einem erfundenen Alphabet (wie die Schrift in einem Comic oder einem Fantasy-Roman) aussieht. Aber bei echten, historischen Schriften (wie Latein, Griechisch oder Chinesisch) ist die Geschichte oft vage. Waren diese beiden Zeichen verwandt? Oder haben sie sich nur zufällig ähnlich entwickelt?

Die Forscher aus diesem Papier haben eine clevere Lösung für dieses Rätsel gefunden. Sie nennen es einen „Zwei-Stufen-Plan", und man kann sich das wie das Ausbilden eines Schülers durch einen erfahrenen Lehrer vorstellen.

Hier ist die Geschichte in einfachen Worten:

Stufe 1: Der Lehrer lernt am „Sicherheitskurs"

Stellen Sie sich vor, unser Lehrer ist ein junger Archäologe. Zuerst lässt man ihn nicht mit den echten, kniffligen historischen Schriften arbeiten. Stattdessen gibt man ihm erfundene Alphabete (wie die Schrift aus Futurama oder die Elben-Schrift aus Herr der Ringe).

• Warum? Bei diesen erfundenen Schriften wissen wir zu 100 %, dass Buchstabe A nichts mit Buchstabe B zu tun hat. Es gibt keine historischen Streitigkeiten.
• Was lernt er? Der Lehrer übt, die Unterschiede zwischen diesen Buchstaben extrem genau zu erkennen. Er lernt, dass ein „A" immer ein „A" ist, egal ob es krumm, gerade, groß oder klein geschrieben wurde. Er wird zum Experten für klare Unterscheidungen.
• Das Ergebnis: Am Ende dieser Phase hat der Lehrer ein sehr scharfes Auge und ein festes Regelwerk im Kopf.

Stufe 2: Der Schüler lernt von der Geschichte (ohne zu raten)

Jetzt kommt der schwierige Teil: Die echten, historischen Schriften. Hier gibt es keine klaren Antworten. Wir wissen nicht immer, ob zwei Schriften verwandt sind. Wenn wir dem Schüler jetzt sagen würden: „Dieses Zeichen hier ist nicht mit jenem verwandt", könnten wir uns irren und falsche Annahmen in die KI einschleusen.

Also nutzen die Forscher einen Trick, ähnlich wie beim Schattenziehen:

• Der Lehrer (der jetzt schon alles über klare Unterscheidungen weiß) schaut auf die historischen Schriften.
• Der Schüler (ein neuer, noch ungebildeter KI-Modell) versucht, sich so anzusehen wie der Lehrer.
• Der Clou: Der Schüler darf sich nicht festlegen, was nicht zusammengehört. Er darf nur lernen, wie der Lehrer die Zeichen sieht, aber er ist frei, neue Verbindungen zu entdecken, die der Lehrer vielleicht übersehen hat.

Stellen Sie sich vor, der Lehrer sagt: „Schau, diese beiden Zeichen sehen sich sehr ähnlich." Der Schüler stimmt zu. Aber wenn der Lehrer sagt: „Diese beiden sind sicher verschieden," und der Schüler merkt: „Moment, historisch gesehen könnten die aber doch verwandt sein," dann darf der Schüler seine eigene Meinung bilden, solange er die Grundregeln des Lehrers respektiert.

Warum ist das so genial?

Früher haben Computer versucht, alles auf einmal zu lernen. Das war wie ein Schüler, der versucht, gleichzeitig Mathe und Kunstgeschichte zu lernen, ohne zu wissen, was richtig und was falsch ist. Er verwechselt alles.

Dieser neue Ansatz trennt die Aufgaben:

1. Zuerst lernt man das Handwerk (Unterscheidung) an sicheren, erfundenen Beispielen.
2. Dann wendet man dieses Handwerk auf die echte, unklare Geschichte an, ohne vorschnelle Urteile zu fällen.

Das Ergebnis

Am Ende hat die KI ein Gedächtnis, das zwei Dinge kann:

1. Sie erkennt sofort, ob zwei Zeichen zum selben Buchstaben gehören (wie ein guter Lehrer).
2. Sie kann aber auch historische Verwandtschaften spüren. Sie gruppiert Schriften, die tatsächlich verwandt sind (wie Griechisch und Latein), enger zusammen als solche, die nichts miteinander zu tun haben (wie Latein und Chinesisch), ohne dass jemand ihr diese Geschichte explizit beigebracht hat.

Zusammengefasst: Die Forscher haben eine KI gebaut, die erst in einer „Schule für klare Regeln" ausgebildet wird und dann als „Reisender" in die unklare Welt der Geschichte geht. Dort nutzt sie ihre Schulung, um verborgene Verbindungen zu finden, die wir Menschen vielleicht übersehen haben, ohne dabei falsche Annahmen zu treffen. Es ist wie ein Detektiv, der erst das Alphabet perfekt beherrscht, bevor er alte, verschlüsselte Briefe entschlüsselt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Contrastive-to-Self-Supervised: A Two-Stage Framework for Script Similarity Learning" auf Deutsch:

1. Problemstellung

Das zentrale Problem bei der Lernung von Ähnlichkeitsmetriken für Glyphen und Schriftsysteme liegt in der asymmetrischen Überwachung (Asymmetric Supervision):

• Auf Glyphenebene: Bei erfundenen Alphabeten (z. B. aus Science-Fiction) sind die Identitäten der Zeichen klar definiert. Verschiedene Darstellungen desselben Zeichens können sicher als positive Paare behandelt werden, während verschiedene Zeichenklassen als negative Paare gelten.
• Auf Ebene historischer Schriften: Bei echten, historischen Schriftsystemen sind die evolutionären Beziehungen oft unsicher, umstritten oder nur unvollständig dokumentiert. Die Annahme, dass zwei Zeichen aus unterschiedlichen historischen Schriften definitiv nicht verwandt sind (und somit als negative Paare behandelt werden sollten), birgt das Risiko, unverifizierbare linguistische oder archäologische Annahmen in das Modell zu „baken".
• Herausforderung: Bestehende visuelle Repräsentationslern-Frameworks gehen oft von klaren Negativ-Paaren aus, was bei historischen Daten problematisch ist, da visuelle Ähnlichkeiten oft auf historische Einflüsse, Entlehnungen oder gemeinsame grafische Konventionen zurückgehen, die nicht als „falsch" klassifiziert werden dürfen.

2. Methodik: Ein Zwei-Phasen-Framework

Die Autoren schlagen einen hybriden Ansatz vor, der überwachtes Lernen von unüberwachtem Entdecken trennt.

Phase 1: Überwachtes kontrastives Lernen (Teacher-Training)

• Ziel: Erzeugung eines robusten, diskriminativen Voreinstellungsmodells (Teacher).
• Daten: Ein gelabelter Datensatz aus erfundenen Alphabeten (z. B. aus Futurama oder Tolkien), bei denen die Unabhängigkeit der Zeichenklassen garantiert ist.
• Verfahren: Training eines Encoders mit Supervised Contrastive Loss (SupCon).
  • Alle Instanzen derselben Klasse (inkl. Augmentierungen) werden als positive Paare behandelt.
  • Instanzen verschiedener Klassen wirken implizit als negative Paare.
• Ergebnis: Ein Teacher-Modell ($f^*_\phi$), das einen geometrisch strukturierten Embedding-Raum mit klaren intra-klassen Clustern und inter-klassen Trennungen erzeugt.

Phase 2: Unüberwachtes Teacher-Student-Distillation (Adaptation)

• Ziel: Anpassung des Modells an ungelabelte historische Schriften, ohne falsche Negativ-Paare über Schriftgrenzen hinweg zu erzwingen.
• Verfahren: Eine asymmetrische Teacher-Student-Distillation, inspiriert von BYOL (Bootstrap Your Own Latent).
  • Initialisierung: Sowohl der Student ($f_\theta$) als auch das Target-Netzwerk ($f_\xi$) werden vom Teacher aus Phase 1 initialisiert (statt zufällig). Dies bietet eine semantisch strukturierte Startposition.
  • Architektur: Der Student besteht aus einem Backbone und einem Predictor-MLP. Das Target-Netzwerk ist eine EMA (Exponential Moving Average) Version des Students und hat keinen Gradientenfluss (Stop-Gradient).
  • Training: Das Ziel ist es, die Vorhersagen des Students mit den Repräsentationen des Target-Netzwerks für zwei augmentierte Ansichten desselben Bildes zu minimieren (negative cosine similarity).
  • Besonderheit: Es werden keine expliziten Negativ-Paare verwendet. Der Student lernt invarianz gegenüber Deformationen, kann aber die Struktur des Teachers neu organisieren, um latente Ähnlichkeiten zwischen historischen Schriften zu entdecken.

3. Wichtige Beiträge

1. Entkopplung von Überwachung und Exploration: Ein Zwei-Phasen-Strategie, die zuverlässige Zeichen-Identität (in erfundenen Schriften) von unsicheren Schriftbeziehungen (in historischen Schriften) trennt.
2. Teacher-initialisierte Selbst-Distillation: Eine Modifikation von BYOL, die den Teacher als semantischen Anker nutzt, um die Repräsentationen auf historischen Daten zu stabilisieren, ohne dabei spekulative Negativ-Paare zu erzwingen.
3. Evaluierte Protokolle: Eine Kombination aus Few-Shot-Glyph-Retrieval und Script-Level-Ranking-Metriken (NDCG, Spearman), validiert auf Omniglot und einem neu konstruierten Unicode-Datensatz.

4. Ergebnisse

Die Evaluation erfolgte auf fünf Backbone-Architekturen (Simple CNN, Siamese CNN, ResNet-18/34/50) und zwei Datensätzen (Omniglot und Unicode).

• Script-Level-Ranking (Hauptziel):
  • Der hybride Ansatz erreichte konsistent die besten NDCG@10-Werte (Normalized Discounted Cumulative Gain), insbesondere bei ResNet-50 (0.3178 vs. 0.2997 für Barlow Twins). Dies zeigt, dass historisch verwandte Schriften (z. B. Griechisch und Kyrillisch) im Embedding-Raum näher beieinander liegen als bei rein unüberwachten Baselines.
  • Die Separability Ratio ($R$) verbesserte sich signifikant (von 0.323 auf 0.210), was bedeutet, dass linguistisch verwandte Schriften im Vergleich zu un verwandten (z. B. CJK) geometrisch kohärenter gruppiert wurden.
• Glyph-Level-Retrieval:
  • Das Modell war konkurrenzfähig oder überlegen bei Few-Shot-Aufgaben (20-way 1-shot), insbesondere bei kleineren Backbones (Simple CNN).
  • Bei größeren ResNet-Architekturen zeigten reine unüberwachte Methoden (BYOL, Barlow Twins) teilweise höhere Top-1-Genauigkeit, was auf eine Überanpassung an die Teacher-Struktur bei großen Kapazitäten hindeuten könnte. Dennoch blieb die Script-Level-Geometrie des hybriden Ansatzes überlegen.
• Vergleich mit DINOv2: Ein großes, vortrainiertes Vision Transformer-Modell (DINOv2) schnitt schlecht ab, was die Notwendigkeit domänenspezifischen Trainings für alte Schriften unterstreicht.

5. Bedeutung und Fazit

Das Paper adressiert ein fundamentales epistemologisches Problem in der computergestützten Linguistik und Archäologie: Wie lernt man Ähnlichkeiten, wenn die „Ground Truth" der Verwandtschaft unbekannt ist?

• Wissenschaftlicher Beitrag: Der Ansatz beweist, dass man durch die Kombination von überwachtem Lernen auf sauberen, synthetischen Daten und unüberwachtem Fein-Tuning auf historischen Daten eine Balance finden kann. Das Modell lernt nicht nur, Zeichen zu unterscheiden, sondern entdeckt auch historische Verwandtschaften, ohne diese künstlich vorzugeben.
• Praktische Relevanz: Die Methode ermöglicht eine objektive, reproduzierbare Analyse von Schriftsystemen, die als Grundlage für phylogenetische Rekonstruktionen von Schriftlinien dienen kann.
• Zukunftsausblick: Die Autoren planen, die gelernten Distanzen für globale Analysen von Schriftsystemen zu nutzen und die Trainingsdaten durch generative Modelle (GANs) zu erweitern, um realistischere handschriftliche Variationen zu simulieren.

Zusammenfassend bietet das Framework einen robusten Weg, um die Lücke zwischen klar definierten Klassifikationsaufgaben und der komplexen, unsicheren Realität historischer Sprachentwicklung zu schließen.