Bringing Emerging Architectures to Sequence Labeling in NLP

1. Problemstellung

Sequence Labeling (SL), also die Zuweisung von Labels zu einzelnen Token in einer Sequenz, ist eine Kernaufgabe im NLP (z. B. POS-Tagging, Named Entity Recognition, Parsing). Derzeit dominieren Pretrained Transformer-Encoder (wie BERT oder XLM-R) dieses Feld aufgrund ihrer Fähigkeit, kontextuelle Abhängigkeiten über lange Distanzen hinweg zu modellieren.

Das Paper adressiert jedoch die Frage, wie sich neuere, alternative Architekturen in diesem Bereich verhalten, die ursprünglich nicht für Token-Level-Klassifikation entwickelt wurden oder als effizientere Alternativen zu Transformern propagiert werden. Bisherige Studien zu diesen Architekturen beschränkten sich oft auf einfache, flache Aufgaben. Es fehlt eine umfassende Evaluation, wie diese Modelle mit komplexeren strukturellen Aufgaben (wie Parsing von Bäumen oder Graphen), unterschiedlichen Label-Räumen und Abhängigkeiten über verschiedene Sprachen hinweg zurechtkommen.

2. Methodik und Architekturen

Die Autoren untersuchen vier Hauptkategorien von Architekturen, die über den Standard-Transformer-Ansatz hinausgehen, und passen sie für Sequence-Labeling-Aufgaben an:

• Diffusion Tagging (DiT):

  • Basierend auf Diffusionsmodellen (ursprünglich für Bildgenerierung).
  • Anpassung: Ein „Bit-Tag"-Konverter wandelt diskrete Labels in kontinuierliche Bit-Strings um. Ein Diffusionsprozess fügt Rauschen hinzu, und ein neuronales Netz lernt, dieses Rauschen schrittweise zu entfernen (Denoising), um die Ziel-Labels vorherzusagen.
  • Ziel: Untersuchung, ob generative Diffusionsprozesse diskrete Sequenzprobleme effektiv lösen können.

• Adversarial Tagging (GaT):

  • Basierend auf Generative Adversarial Networks (GANs).
  • Architektur: Besteht aus einem Generator (erzeugt Labels) und einem Diskriminator (unterscheidet echte von generierten Labels).
  • Anpassung: Der Generator nutzt einen Encoder-Decoder-Ansatz, der Diskriminator eine leichte BiLSTM-Architektur. Ein Gumbel-Softmax wird verwendet, um die Diskretisierung für die Backpropagation zu glätten. Das adversarielle Training zielt darauf ab, den Generator zu zwingen, strukturell korrekte Sequenzen zu erzeugen, die den Diskriminator täuschen.

• xLSTM und BixLSTM:

  • Eine Weiterentwicklung der klassischen LSTMs (Beck et al., 2024), die Parallelisierbarkeit und bessere Modellierung langer Abhängigkeiten bietet (durch sLSTM und mLSTM Blöcke).
  • Anpassung: Die Autoren testen unidirektionale (xLSTM) und bidirektionale (BixLSTM) Varianten als Encoder-Ersatz für Transformer.

• Structured State-Space Models (SSM / MAMBA-2):

  • Modelle wie MAMBA, die lineare Komplexität für lange Sequenzen bieten und Self-Attention ersetzen.
  • Anpassung: Einsatz als Encoder für die Kontextualisierung von Eingabe-Sätzen.

Experimentelles Setup:
Die Evaluation erfolgte auf einem multilingualen Benchmark mit Aufgaben unterschiedlicher Komplexität:

• Einfach: POS-Tagging, Named Entity Recognition (NER).
• Komplex (Strukturiert): Constituency Parsing, Dependency Parsing und Graph Parsing (mit verschiedenen Linearisierungstechniken wie Bracketing, Bit-Encoding, Hexatagging).
• Sprachen: Umfasst 10+ Sprachen (z. B. Englisch, Deutsch, Chinesisch, Hindi, Tamil) mit unterschiedlichen morphologischen Eigenschaften.
• Basislinie: Ein standardmäßiger Transformer-Encoder (XLM-RoBERTa) mit einem einfachen Feed-Forward-Decoder.

3. Wichtige Ergebnisse

Die Ergebnisse zeigen ein differenziertes Bild, das stark von der Komplexität der Aufgabe abhängt:

• Einfache Aufgaben (POS, NER):

  • Adversarial Tagging (GaT) ist der klare Gewinner unter den nicht-Transformer-Modellen. Es erreicht in 20 von 22 Experimenten die besten Scores und konkurriert in vielen Fällen direkt mit dem Transformer-Baseline, ohne dabei signifikant abzuschneiden.
  • BixLSTM (bidirektional) übertrifft die traditionellen BiLSTMs in den meisten Fällen, bleibt aber hinter den Transformer-Baselines zurück.
  • Diffusion (DiT) und SSM (MAMBA-2) schneiden hier schlechter ab als die Baseline, wobei Diffusion auf stark unausgewogenen Datensätzen (z. B. Weibo-NER) besonders schlecht performt.

• Komplexe strukturierte Aufgaben (Parsing):

  • State-Space-Modelle (SSM/MAMBA) scheitern hier fast vollständig. Sie können die token-spezifischen Abhängigkeiten in Sätzen nicht effektiv erfassen und performen oft schlechter als einfache unidirektionale LSTMs.
  • Diffusion-Modelle zeigen zwar bessere Ergebnisse als SSMs, liegen aber immer noch deutlich unter der Transformer-Baseline, insbesondere bei Graph-Parsing-Aufgaben mit großen Label-Räumen.
  • Adversarial Tagging (GaT) ist die einzige alternative Architektur, die auch bei komplexen strukturierten Aufgaben (Dependency und Constituency Parsing) mit der Transformer-Baseline mithalten kann. In einigen Fällen (z. B. Dependency Parsing) verbessert sie die Baseline sogar leicht.
  • BixLSTM bietet eine gute Balance aus Geschwindigkeit und Genauigkeit, bleibt aber in der absoluten Performance hinter den Transformer-Ansätzen zurück.

• Einfluss des Label-Raums:

  • Mit zunehmender Größe des Label-Raums (z. B. bei Graph-Parsing) leiden nicht-Transformer-Modelle (insbesondere LSTMs und SSMs) stärker als Transformer. Adversarial Tagging zeigt hier die größte Stabilität.

• Geschwindigkeit:

  • Unidirektionale Encoder (LSTM, xLSTM, MAMBA) sind zwar schnell, aber bei Parsing-Aufgaben zu ungenau.
  • Der Adversarial-Tagger und die Baseline haben ähnliche Inferenzzeiten, da beide auf ähnlichen Parameterzahlen basieren.

4. Hauptbeiträge

1. Umfassende Evaluation: Das Paper liefert die erste umfassende Studie, die neuartige Architekturen (Diffusion, GANs, xLSTM, SSM) nicht nur auf flachen, sondern auch auf hochkomplexen, strukturierten NLP-Aufgaben über multiple Sprachen hinweg vergleicht.
2. Erkenntnisse zur Generalisierung: Es wird gezeigt, dass hohe Performance in einfachen Settings (wie Language Modeling oder flachem Tagging) nicht automatisch auf komplexe strukturelle Aufgaben übertragbar ist.
3. Erfolg des Adversarial Ansatzes: Die Arbeit hebt hervor, dass adversariales Training (GANs) ein vielversprechender Weg ist, um strukturelle Konsistenz in Sequenzproblemen zu erzwingen, und dass es Transformer in bestimmten Szenarien sogar übertreffen kann.
4. Limitationen anderer Ansätze: Es wird deutlich gemacht, dass Diffusionsmodelle und State-Space-Modelle derzeit für diskrete, sequentielle Klassifikationsaufgaben in der NLP noch nicht die Reife von Transformern erreicht haben, insbesondere bei komplexen Abhängigkeiten.

5. Bedeutung und Fazit

Die Studie ist signifikant, da sie den blinden Glauben an „neue" Architekturen als universelle Überlegenheit relativiert. Sie zeigt, dass Transformer nach wie vor der Goldstandard für komplexe strukturierte NLP-Aufgaben bleiben.

Der wichtigste Erkenntnisgewinn ist jedoch, dass adversariales Lernen ein effektives Werkzeug ist, um die strukturelle Integrität von Vorhersagen zu verbessern und Transformer-Modelle in bestimmten Domänen zu ersetzen oder zu ergänzen. Für Anwendungen, bei denen Rechenressourcen oder Latenz kritisch sind, bieten bidirektionale xLSTMs eine solide Alternative, während Diffusions- und SSM-Modelle für Sequence Labeling derzeit noch nicht konkurrenzfähig sind.

Die Autoren stellen ihren Code öffentlich zur Verfügung, um weitere Forschung in diesem Bereich zu ermöglichen.