🤖 AI

Diffusion-Based Ukrainian Handwritten Text Generation with Cross-Domain Style Transfer

Dieser Beitrag adressiert das Fehlen von Ressourcen zur Generierung handschriftlicher ukrainischer Texte durch die Erstellung eines groß angelegten, von Schreibern annotierten Datensatzes und den Nachweis, dass ein ursprünglich für lateinische Schriften trainiertes diffusionsbasiertes Modell durch domänenübergreifende und Few-Shot-Transfer-Methoden erfolgreich verallgemeinert werden kann, um lesbare und stil-konsistente kyrillische Texte zu generieren.

Ursprüngliche Autoren: Andrii Ahitoliev, Pavlo Berezin

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrii Ahitoliev, Pavlo Berezin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Meister-Kunstlehrer, der Jahre damit verbracht hat, die Handschrift von Hunderten verschiedener englischsprachiger Personen zu kopieren zu lernen. Dieser kann ein paar von einem Fremden geschriebene Wörter betrachten und sofort den einzigartigen Stil dieser Person rekonstruieren – wie sie ihre Buchstaben neigt, wie dick ihre Striche sind und wie sie ihre Wörter abstandet.

Dieser Artikel stellt eine große Frage: Wenn wir diesen gleichen Kunstlehrer beibringen, auf Ukrainisch zu schreiben (ein völlig anderes Alphabet mit anderen Formen), wird er dann immer noch in der Lage sein, den Stil eines Fremden zu kopieren?

Hier ist die Geschichte, wie sie die Antwort fanden, einfach aufgeschlüsselt:

1. Das Problem: Ein fehlendes Rezeptbuch

Seit Jahren sind KI-Forscher hervorragend darin, gefälschte englische Handschriften zu erzeugen. Doch für das Ukrainische (und viele andere nicht-englische Sprachen) stießen sie an eine Wand. Es gab kein „Rezeptbuch" (ein großer Datensatz), das Tausende von ukrainischen Wörtern enthielt, geschrieben von Hunderten verschiedener Personen und mit Angaben versehen, wer sie geschrieben hat. Ohne dies konnte die KI die Regeln der ukrainischen Handschrift nicht erlernen oder spezifische Schreiber nachahmen.

2. Die Lösung: Aufbau einer riesigen Bibliothek

Die Autoren bauten dieses fehlende Rezeptbuch von Grund auf neu auf.

Die Quelle: Sie starteten mit einer Sammlung gescannter ukrainischer Sätze.
Die Bereinigung: Sie nutzten einen digitalen „Radiergummi", um verstreute Punkte und Linien zu entfernen, die nicht Teil der Schrift waren.
Das Schneiden: Sie verwendeten eine intelligente „Schere" (ein Werkzeug für computergestützte Bildanalyse), um die langen Sätze in einzelne Wörter zu schneiden. Dies war knifflig, da ukrainische Buchstaben oft miteinander verbunden sind oder sich überlappen. Ihre Methode war zu 95 % genau, weit besser als Standardwerkzeuge.
Der Ausgleich: Einige ukrainische Buchstaben sind selten (wie der Buchstabe „ґ"). Die KI neigt dazu, seltene Dinge zu ignorieren, daher fügten die Autoren künstlich mehr Beispiele dieser seltenen Buchstaben zur Bibliothek hinzu, um sicherzustellen, dass die KI sie ebenfalls lernte.
Das Ergebnis: Eine Bibliothek mit 126.000 Wörtern, geschrieben von 308 verschiedenen Personen.

3. Der Test: Die KI als „Gestaltwandler"

Sie nahmen ein bestehendes KI-Modell namens DiffusionPen. Betrachten Sie dieses Modell als einen „Gestaltwandler", der Text in Handschrift verwandeln kann.

Die Wendung: Sie bauten das Gehirn der KI nicht neu auf. Sie fütterten es einfach mit der neuen ukrainischen Bibliothek.
Das Ziel: Zu prüfen, ob die KI ukrainische Buchstaben lernen und gleichzeitig ihre Fähigkeit behalten konnte, den Stil eines Schreibers basierend auf nur wenigen Beispielwörtern nachzuahmen.

4. Die Ergebnisse: Es hat funktioniert!

Die KI lernte, ukrainische Wörter zu schreiben, die echt aussahen.

Lesbarkeit: Wenn Sie die gefälschten Wörter durch eine Standard-Lesemaschine (OCR) laufen ließen, konnte diese sie in den meisten Fällen korrekt lesen (etwa 84 % Genauigkeit für Wörter mittlerer Länge).
Stil: Die gefälschte Handschrift sah genauso natürlich aus wie das Original.
Die große Überraschung: Die KI lernte nicht nur Ukrainisch; sie lernte das Konzept des Handschriftstils.

5. Die Zaubertricks: Stiltransfer über Domänen hinweg

Dies ist der aufregendste Teil. Die Autoren testeten, ob die KI Stile kopieren konnte, von Quellen, die sie niemals zuvor gesehen hatte.

Trick 1: Der englische Wechsel (Sprachübergreifend)
Sie zeigten der KI ein paar Wörter, geschrieben von einer englischen Person (aus einer anderen Datenbank). Dann baten sie die KI, ein ukrainisches Wort zu schreiben.
- Ergebnis: Die KI schrieb das ukrainische Wort, aber mit der einzigartigen Neigung und dem Druck der englischen Person. Sie übertrug erfolgreich die „Seele" des englischen Schreibers in ukrainische Buchstaben.
Trick 2: Der Zeitreisende (Historischer Transfer)
Sie zeigten der KI eine Seite aus einem ukrainischen Manuskript, das Anfang der 1900er Jahre geschrieben wurde (alte Tinte, alte Papierstruktur).
- Ergebnis: Die KI schrieb moderne ukrainische Wörter, doch sie sahen so aus, als wären sie in diesem altmodischen, formellen Kalligraphiestil geschrieben worden.
Trick 3: Der Fremde (Zero-Shot)
Sie zeigten der KI ein paar Wörter von einem ukrainischen Schreiber, der nicht in ihrer Trainingsbibliothek war.
- Ergebnis: Die KI imitierte den Handschriftstil dieses Fremden perfekt, ohne ihn je zuvor gesehen zu haben.

6. Was nicht perfekt funktionierte?

Das System ist noch nicht perfekt.

Seltene Buchstaben: Sehr seltene ukrainische Buchstaben sehen manchmal noch etwas verschwommen aus oder werden vertauscht.
Das Apostroph: Das winzige ukrainische Apostroph (wie im Wort м'яч) fällt der KI schwer zu zeichnen, da es so klein ist und oft in den anderen Strichen untergeht.

Das Fazit

Dieser Artikel beweist, dass eine moderne KI, wenn man ihr das Schreiben in einer Schrift (wie Englisch) beibringt, lernen kann, in einer völlig anderen Schrift (wie Ukrainisch) zu schreiben, und dennoch den einzigartigen Stil eines Schreibers kopieren kann, den sie nie getroffen hat. Es ist, als würde man einem Koch, der italienische Pasta kochen kann, beibringen, ukrainische Knödel zu kochen; sobald er die Technik verstanden hat, kann er seinen einzigartigen Kochstil auf die neuen Zutaten anwenden.

Die Autoren haben ihren Datensatz und ihre trainierte KI veröffentlicht, damit andere sie nutzen können, um Handschriften in anderen Sprachen zu untersuchen, die derzeit von der Technologie ignoriert werden.

Technische Zusammenfassung: Diffusionsbasierte Generierung handschriftlicher ukrainischer Texte mit domänenübergreifendem Stiltransfer

Problemstellung

Die Generierung handschriftlicher Texte (HTG), die vom Schreibstil des Autors abhängig ist, hat sich für lateinische Schriften, insbesondere Englisch, erheblich weiterentwickelt, bleibt jedoch für ressourcenarme und nicht-lateinische Schriftsysteme wenig erforscht. Es besteht eine kritische Lücke im Verständnis, ob bestehende Few-Shot-Modelle für diffusionsbasierte Schreibstile, die den Autor berücksichtigen, über den lateinischen Bereich hinaus auf Schriften wie das kyrillische Ukrainisch verallgemeinern können. Diese Übertragung ist aufgrund von Unterschieden in den Zeichenvorräten, Strichmustern und dem Fehlen groß angelegter, mit Autor-Labels versehener Datensätze für das Ukrainische nicht trivial. Ferner ist unklar, ob aktuelle Modelle schriftspezifische Regularitäten erfassen oder eine übertragbare Repräsentation des handschriftlichen Stils lernen.

Methodik

Datensatzkonstruktion

Um das Datenmangelproblem zu adressieren, konstruierten die Autoren einen Datensatz auf Wortebene für handschriftliches Ukrainisch, der 126.177 Bilder von 308 Autoren enthält, abgeleitet aus dem zeilenbasierten UkrHandwritten-Korpus. Der Konstruktionsprozess umfasste:

Bereinigung der Vorsegmentierung: Anwendung eines NAFNet-Restaurierungsnetzwerks zur Entfernung schwacher Unterstreichungsartefakte, die als zufällige Stilmerkmale erlernt werden könnten.
Segmentierung nach verbundenen Komponenten: Eine benutzerdefinierte Pipeline unter Verwendung von Otsu-Binarisierung und OpenCV zum Zusammenführen von Komponenten innerhalb von 8 Pixeln, gefolgt von der Auswahl der $N-1$ breitesten Lücken zwischen den Gruppen als Wortgrenzen. Dies erreichte eine perfekte Übereinstimmungsrate der Grenzen von 95,7 % und schnitt deutlich besser ab als Methoden der vertikalen Projektion (71,7 %).
Qualitätsfilterung: Eine fünfstufige Pipeline entfernte Proben, die lateinische Zeichen, Interpunktionsfehler, extreme Seitenverhältnisse und OCR-Übereinstimmungen mit geringer Konfidenz enthielten. Ein längenstratifizierter Ähnlichkeitsschwellenwert wurde angewendet, um die Ablehnung kurzer Funktionswörter zu verhindern.
Ausgleich: Seltene ukrainische Zeichen (z. B. ф, ґ, Щ, Є, Ц, ї) wurden durch 2–5-faches Duplizieren der Ausschnitte überproportional berücksichtigt, um eine angemessene Repräsentation sicherzustellen.

Modellarchitektur

Die Studie nutzte DiffusionPen, ein Few-Shot-Modell für latente Diffusion, ohne architektonische Modifikation.

Basis: Ein konditionales latentes Diffusionsmodell, das im 4×8×32-latenten Raum eines eingefrorenen Stable Diffusion v1.5 VAE operiert.
Konditionierung:
- Text: Kodiert über einen CANINE-Zeichenkodierer (der nativ kyrillische Unicode-Codepunkte unterstützt) und auf die U-Net-Dimension projiziert.
- Stil: Eine kontinuierliche Stil-Embedding ( $s \in \mathbb{R}^{1280}$ ), abgeleitet aus einem eingefrorenen MobileNetV2-Triplet-Loss-Kodierer, gemittelt über fünf Referenzbilder.
- Autor-ID: Eine gelernte Label-Embedding, die mit der Stil-Embedding summiert wird.
Training: Das Modell wurde für 200 Epochen auf dem neuen Datensatz unter Verwendung standardmäßiger LDM-Rauschvorhersage-Ziele trainiert. Classifier-Free Guidance (CFG) wurde für die Textkonditionierung angewendet ( $p_{drop}=0,2$ ), während die Stilbedingung niemals weggelassen wurde.

Evaluierungsprotokolle

Die Autoren evaluierten das Modell in drei unterschiedlichen Szenarien, um die domänenübergreifende Verallgemeinerung zu testen:

Sprachübergreifender Transfer: Generierung ukrainischer Wörter unter Verwendung von Stilreferenzen aus der englischen Handschriftendatenbank IAM.
Historischer Transfer: Generierung von Text unter Verwendung von Stilreferenzen aus einer ukrainischen Handschrift aus dem frühen 20. Jahrhundert (unterschiedliche Tinte, Papier und Buchstabenformen).
Few-Shot-Imitation: Generierung von Text für unbekannte zeitgenössische Autoren aus dem RUKOPYS-Datensatz.

Hauptergebnisse

Quantitative Leistung

Visuelle Qualität: Das Modell erreichte eine Fréchet Inception Distance (FID) von 23,09 auf 5.000 Proben über 308 Autoren hinweg. Dies ist vergleichbar mit der Leistung von DiffusionPen auf dem englischen IAM-Datensatz (~20–25) und zeigt eine visuelle Qualität, die mit dem State-of-the-Art für lateinische Schriften gleichzieht.
Lesbarkeit: Die vom kyrillischen TrOCR-Modell gemessene Zeichenfehlerquote (CER) betrug insgesamt 16,0 %.
- Out-of-Vocabulary (OOV): 15,6 % (niedriger als In-Vocabulary mit 16,5 %), was bestätigt, dass das Modell auf ungesehene Sequenzen verallgemeinert und nicht den Wortschatz auswendig lernt.
- Seltene Buchstaben: Die CER-Lücke zwischen seltenen und häufigen Buchstaben betrug nur 1,4 Prozentpunkte (17,2 % vs. 15,8 %), was die Wirksamkeit des gezielten Überbelegens validiert.
- Längenabhängigkeit: Die Leistung variierte je nach Wortlänge, mit den besten Ergebnissen im Bereich von 4–6 Zeichen (10,8 % CER) und höheren Fehlern bei sehr kurzen Wörtern (1–3 Zeichen, 42,7 % CER), was weitgehend auf die Grenzen des Erkenners bei einzeichenigen Wörtern zurückzuführen ist.

Ablationsstudien

Datensatzgröße vs. Reinheit: Größere, verrauschtere Datensätze (67.000 Proben) schnitten besser ab als kleinere, ultrareine Datensätze (12.800 Proben), was bestätigt, dass Vielfalt die Reinheit für diffusionsbasierte HTG dominiert.
Segmentierungsqualität: Der Wechsel von der vertikalen Projektion zur Segmentierung nach verbundenen Komponenten reduzierte den Validierungs-MSE von 0,0787 auf 0,0658 und wurde als der einzelne größte Verbesserungsfaktor identifiziert.
Architektur: Die Erhöhung der Anzahl der Residualblöcke pro U-Net-Ebene von 1 auf 2 (entsprechend den Spezifikationen von Stable Diffusion v1.5) reduzierte den MSE weiter und verbesserte die Schärfe der Glyphe.

Domänenübergreifender Transfer

Das Modell übertrug Stile erfolgreich über signifikante Domänenverschiebungen hinweg:

Englisch zu Ukrainisch: Generierte ukrainische Wörter reproduzierten sichtbar die Strichstärke, den Winkel und den Abstand englischer Autoren aus dem IAM-Datensatz.
Historisch zu Modern: Das Modell übernahm die kalligraphischen Qualitäten (breitere Striche, formale Proportionen) einer Handschrift aus dem 20. Jahrhundert, während es moderne Zeichenformen generierte.
Unbekannte Autoren: Das Modell imitierte die Neigung und Strichstärke von Autoren aus dem RUKOPYS-Datensatz ohne Feinabstimmung und demonstrierte eine robuste Few-Shot-Verallgemeinerung.

Bedeutung und Behauptungen

Die Arbeit behauptet, den ersten empirischen Nachweis zu liefern, dass Few-Shot-Modelle für latente Diffusion über den lateinischen Schriftbereich hinaus auf das kyrillische Ukrainisch verallgemeinern können. Zu den wichtigsten Beiträgen gehören:

Ein neuer Benchmark: Die Veröffentlichung eines 126.000-Proben umfassenden, mit Autor-Labels versehenen Datensatzes für ukrainische Wörter auf Wortebene, der eine kritische Ressourcenlücke schließt.
Bewiesene Übertragbarkeit: Der Nachweis, dass ein auf lateinischen Schriften trainiertes Modell ohne architektonische Änderungen an Kyrillisch angepasst werden kann, während sinnvolle Stiltransferfähigkeiten über Sprachen, historische Perioden und unbekannte Autoren hinweg erhalten bleiben.
Methodische Erkenntnisse: Die Feststellung, dass Datensatzvielfalt und Segmentierungsqualität für die Generierungsqualität kritischer sind als strenge Datenreinheit, und dass die Anpassung der Anzahl der Residualblöcke des U-Net an das Basis-Diffusionsmodell die Ergebnisse verbessert.

Die Autoren schließen, dass zwar Einschränkungen bezüglich seltener Zeichen und des ukrainischen Apostrophs bestehen, die Arbeit jedoch eine tragfähige Grundlage für die Erweiterung der stilisierten HTG auf andere unterrepräsentierte Schriftsysteme bietet.