LLM-Driven AutoML for Cross-Lingual Handwritten OCR: Closed-Loop Neural Architecture Search with GPT-5, GPT-4o, and Claude Sonnet 4

Technisches Resümee: LLM-gestütztes AutoML für sprachübergreifende handschriftliche OCR

Problemstellung
Die Erkennung handschriftlicher Texte (Handwritten Text Recognition, HTR) über verschiedene Skripte hinweg, wie etwa Arabisch, Englisch und Persisch, bleibt aufgrund einzigartiger visueller Komplexitäten, komplizierter Strichmuster und hoher Variabilität in den Schreibstilen eine erhebliche Herausforderung für das maschinelle Lernen. Traditionelle Ansätze stützen sich stark auf expertengesteuertes Modelldesign, umfangreiche manuelle Vorverarbeitung und iterative Hyperparameter-Optimierung. Diese Methoden sind oft zeitaufwendig, schwer auf neue Skripte skalierbar und anfällig für inkonsistente Ergebnisse. Während jüngste Fortschritte in der Neural Architecture Search (NAS) und bei Large Language Models (LLMs) vielversprechend sind, blieb deren Anwendung als unabhängige, geschlossene Agenten zur Generierung und Verfeinerung von Deep-Learning-Architekturen speziell für die sprachübergreifende handschriftliche OCR weitgehend unerforscht.

Methodik
Die Autoren schlagen eine vollständig automatisierte End-to-End-Pipeline vor, die Large Language Models (speziell GPT-5, GPT-4o und Claude Sonnet 4) als autonome „KI-Architekten“ nutzt. Das System arbeitet durch einen geschlossenen iterativen Prozess, der aus vier Kernphasen besteht:

1. Datenerfassung und Augmentierung: Die Pipeline verwendet die Datensätze EMNIST (Englisch), SADRI (Persisch) und AHCD (Arabisch). Die Daten werden in Tensorformate standardisiert und mittels stratifizierter Stichprobenziehung aufbereitet. Eine leichtgewichtige Augmentierungsstrategie (zufällige Rotationen, Verschiebungen, Zooms) wird während des Trainings angewendet, um die Generalisierung ohne signifikanten Rechenaufwand zu verbessern.
2. LLM-gestützte Architekturvorschläge: Zu Beginn jedes Versuchs wird das LLM mit Metadaten des Datensatzes (Klassenanzahl, Bilddimensionen) und in nachfolgenden Iterationen mit Leistungsmetriken aus vorherigen Versuchen gepromptet. Die LLMs antworten mit einer strukturierten JSON-Spezifikation, die die neuronale Architektur (z. B. Conv2D, BatchNorm, Dropout, Transformer-Blöcke) und die Trainingshyperparameter (Optimizer, Lernrate, Batch-Größe) detailliert beschreibt.
3. Automatisierte Modellkonstruktion und Training: Die JSON-Spezifikationen werden geparst und automatisch in ausführbare Keras-Modelle umgewandelt. Diese Modelle reichen von Standard-CNNs bis hin zu hybriden Architekturen, die Komponenten von Vision Transformern enthalten. Die Modelle werden mit Categorical Cross-Entropy-Loss kompiliert und ohne menschliches Eingreifen trainiert.
4. Evaluierung und Feedbackschleife: Nach Abschluss des Trainings evaluiert das System das Modell auf Test-, Validierungs- und Trainingssätzen und zeichnet Genauigkeit, Parameteranzahl und Inferenzlatenz auf. Diese Metriken werden als strukturierte Zusammenfassung an das LLM zurückgegeben. Das LLM nutzt dieses Feedback, um seine Architekturvorschläge in der nächsten Iteration zu verfeinern, wodurch ein selbstverbessernder Kreislauf entsteht, der zu optimalen Designs für das jeweilige Skript konvergiert.

Wesentliche Beiträge

• Einheitlicher skriptübergreifender Framework: Die Arbeit führt einen einzigen Framework ein, der in der Lage ist, arabische, englische und persische Skripte zu erkennen, indem er sich an die spezifischen strukturellen und visuellen Komplexitäten jedes Skripts ohne manuelle Rekonfiguration anpasst.
• LLM als generativer Agent: Im Gegensatz zu früheren Arbeiten, die LLMs lediglich zur Erkennung oder als statische Werkzeuge nutzen, setzt dieser Ansatz GPT-5, GPT-4o und Claude Sonnet 4 als eigenständige Agenten ein, die für den gesamten Lebenszyklus der Modelldiscovery verantwortlich sind – vom Vorschlag bis zur Verfeinerung.
• Iterative Verfeinerung in der geschlossenen Schleife: Das System implementiert eine dynamische Feedbackschleife, in der LLMs aus den Ergebnissen der einzelnen Versuche lernen, um Schichttypen, Tiefe, Breite und Hyperparameter anzupassen, wodurch die Notwendigkeit manueller Abstimmung entfällt.
• Transparenz und Reproduzierbarkeit: Die Pipeline dokumentiert jeden Versuch akribisch, indem sie Architekturkonfigurationen und Leistungsmetriken in strukturierten Formaten (JSON, CSV) speichert, um volle Reproduzierbarkeit zu gewährleisten.

Experimentelle Ergebnisse
Die Pipeline wurde über dreißig unabhängige Versuche für jedes der drei Skripte und drei LLMs evaluiert. Die wichtigsten Erkenntnisse sind:

• Genauigkeit: Das System entdeckte konsistent Modelle mit hoher Testgenauigkeit. GPT-4o erreichte die höchste mittlere Genauigkeit für Arabisch (0,959), während Claude Sonnet 4 bei Persisch führte (0,946). GPT-5 erreichte eine Best-Case-Trial-Genauigkeit von 0,981 bei Arabisch. Die durchschnittlichen Genauigkeiten über alle Modelle und Skripte hinweg lagen im Allgemeinen über 93 %.
• Effizienz und Latenz: GPT-5 generierte die kompaktesten Architekturen (0,88 Mio. bis 1,35 Mio. Parameter), während Claude Sonnet 4 größere Modelle (bis zu 9,28 Mio. Parameter) produzierte. Trotz erheblicher Variationen in der Parameteranzahl blieb die Inferenzlatenz stabil und echtzeitfähig (ca. 40–44 ms), was darauf hindeutet, dass die Laufzeitkosten eher durch die architektonische Tiefe als durch die reine Parametergröße getrieben werden.
• Generalisierung: Die Validierungskurven folgten eng den Trainingskurven (Differenzen typischerweise innerhalb von 1–2 %), was auf eine starke Generalisierung und effektive Regularisierung ohne Overfitting hindeutet.
• Vergleich: Im Vergleich zu vorangegangenen Arbeiten (z. B. Cerescu & Bumbu, 2024), die LLMs als direkte Erkennungswerkzeuge für ressourcenarme Skripte behandelten, nutzt dieser Framework LLMs als generative Agenten für die automatisierte Modelldesign, wodurch eine höhere Genauigkeit und Vollautomatisierung über mehrere Sprachen hinweg erreicht wird.

Bedeutung und Ansprüche
Das Paper behauptet, dass diese Arbeit die Fähigkeit von Large Language Models demonstriert, über ihre traditionelle Rolle in der Sprachverarbeitung hinauszugehen und als unabhängige Designer für maschinelle Lernsysteme zu fungieren. Durch die Automatisierung der Entdeckung neuronaler Architekturen für die sprachübergreifende handschriftliche OCR bietet der Framework eine skalierbare, skriptagnostische und vollautomatische Lösung. Die Autoren behaupten, dass dieser Ansatz die Entwicklung von OCR-Modellen erheblich vereinfacht, die Abhängigkeit von domänenspezifischen Heuristiken und Experteninterventionen beseitigt und die Tür für den schnellen, adaptiven Einsatz von OCR-Technologie über verschiedene Sprachen und Domänen hinweg öffnet. Die Ergebnisse validieren, dass die LLM-gesteuerte Architektur-Suche effektiv das Gleichgewicht zwischen Vorhersageleistung, Inferenz-Effizienz und Modellkomplexität halten kann.