💻 computer science

SSA: Improving Performance With a Better Scoring Function

Dieser Artikel schlägt Scaled Signed Averaging (SSA) vor, eine neuartige Attention-Scoring-Funktion, die Softmax ersetzt, um Generalisierungsfehler bei Verteilungsverschiebungen im In-Context-Learning zu adressieren, und zeigt signifikante Leistungsverbesserungen über verschiedene NLP-Benchmarks und Architekturen hinweg.

Ursprüngliche Autoren: Omar Naim, Swarnadeep Bhar, Jérôme Bolte, Nicholas Asher

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Omar Naim, Swarnadeep Bhar, Jérôme Bolte, Nicholas Asher

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Lautsprecher"-Effekt

Stellen Sie sich ein Klassenzimmer vor, in dem ein Lehrer (die KI) versucht, eine Regel zu lernen, indem er Beispiele betrachtet, die an der Tafel stehen. Normalerweise achtet der Lehrer auf alle Beispiele gleichermaßen, um das Muster zu erkennen.

Das Papier argumentiert jedoch, dass die Art und Weise, wie diese KI-Modelle derzeit „Achtung schenken", einen gravierenden Mangel aufweist. Sie verwenden ein Bewertungssystem namens Softmax. Man kann sich Softmax wie einen sehr empfindlichen Lautstärkeregler vorstellen. Wenn ein Schüler im Raum plötzlich anfängt zu schreien (eine Zahl, die viel größer oder kleiner ist als die anderen), dreht der Lautstärkeregler so hoch auf, dass der Lehrer nur noch diesen einen schreienden Schüler hören kann. Der Lehrer ignoriert die leisen Schüler völlig, selbst wenn die leisen diejenigen sind, die die Hinweise enthalten, die zur Lösung des Rätsels nötig sind.

Die Forscher stellten fest, dass KI-Modelle, wenn sie auf Daten treffen, die sich geringfügig von denen unterscheiden, mit denen sie trainiert wurden (wie eine ungewöhnlich große Zahl), durch diesen „Schrei"-Effekt versagen. Sie hören auf, das Gesamtbild zu betrachten, und konzentrieren sich besessen auf die einzelne lauteste Zahl, was zu falschen Antworten führt.

Die Lösung: Ein neuer Lautstärkeregler (SSA)

Um dies zu beheben, entwickelten die Autoren eine neue Bewertungsfunktion namens Scaled Signed Averaging (SSA).

Wenn Softmax ein empfindlicher Lautstärkeregler ist, der durch ein Schreien übersteuert wird, ist SSA wie ein intelligenter Tontechniker.

Wenn eine „schreiende" Zahl auftaucht, dreht SSA die Lautstärke nicht auf 100 % hoch. Stattdessen sagt es: „Okay, diese Zahl ist groß, aber lassen Sie uns die anderen nicht ignorieren."
Es hält die Lautstärke im Gleichgewicht. Es ermöglicht der KI, die laute Zahl und die leisen Zahlen gleichzeitig zu hören.
Dies hilft der KI, Informationen aus dem gesamten Kontext zu integrieren, anstatt sich von einem Ausreißer ablenken zu lassen.

Wie sie es getestet haben

Die Forscher haben nicht einfach nur geraten; sie führten zwei spezifische „Prüfungen" durch, um zu sehen, ob ihre neue Methode besser funktioniert als die alte.

Der „Alle vs. Einige"-Test:
- Die Aufgabe: Die KI musste eine Liste von Zahlen betrachten und entscheiden, ob jede Zahl positiv war oder ob eine Zahl positiv war.
- Die Falle: Sie gaben der KI Listen mit normalen Zahlen und dann Listen mit einer riesigen Zahl (wie 70), die mit kleinen Zahlen gemischt war.
- Das Ergebnis: Die alte KI (Softmax) sah die 70, ließ sich ablenken und sagte: „Alles ist positiv!", weil sie nur auf die 70 hörte. Die neue KI (SSA) betrachtete die gesamte Liste, sah die negativen Zahlen und gab die richtige Antwort.
Der „Mathematisches Muster"-Test:
- Die Aufgabe: Die KI musste die Regel hinter einer mathematischen Gleichung (wie $y = 2x + 1$ ) basierend auf ein paar Beispielen erraten.
- Die Falle: Sie testeten die KI mit Zahlen, die sie noch nie gesehen hatte (sehr große oder sehr kleine).
- Das Ergebnis: Die alte KI wurde von den seltsamen Zahlen verwirrt und konnte das Muster nicht finden. Die neue KI (SSA) ging mit den seltsamen Zahlen souverän um und fand weiterhin das korrekte Muster.

Funktioniert es bei echter Sprache?

Die Forscher blieben nicht bei mathematischen Rätseln stehen. Sie trainierten KI-Modelle auch mit echtem Text (wie Büchern und Websites), um zu sehen, ob dieser neue „Tontechniker" auch bei Sprache hilft.

Decoder-Modelle (Geschichtenerzähler): Sie bauten ein Modell, das Text schreibt. Das neue Modell (SSA) machte weniger Fehler und verstand den Text besser als das alte Modell, selbst beim Lesen schwieriger oder ungewöhnlicher Sätze.
Encoder-Modelle (Versteher): Sie testeten ein Modell, das Grammatik verstehen soll (wie ein Schüler, der seine Hausaufgaben überprüft). Das neue Modell war besser darin, Grammatikregeln zu erkennen, wie etwa Subjekte mit Verben abzugleichen oder Pronomen zu verstehen, im Vergleich zum alten Modell.

Das Fazit

Das Papier behauptet, dass der aktuelle „Aufmerksamkeits"-Mechanismus in KI (Softmax) zu leicht durch extreme Werte abgelenkt wird, was dazu führt, dass die KI versagt, wenn die Dinge ein wenig ungewöhnlich werden. Durch den Austausch dieses Mechanismus gegen ihre neue SSA-Methode wird die KI viel robuster. Sie lernt, ihre Aufmerksamkeit auszugleichen und die gesamte Gruppe von Informationen zu betrachten, anstatt sich auf das lauteste einzelne Stück zu fixieren.

Die Kernaussage: Das Papier beweist, dass es ausreicht, wie die KI Informationen gewichtet (die Bewertungsfunktion), zu ändern, um sie intelligenter und zuverlässiger zu machen, ohne dass die KI größer gemacht oder mit mehr Daten trainiert werden muss. Es ist ein Software-Upgrade, kein Hardware-Upgrade.

Technische Zusammenfassung: SSA: Leistungsverbesserung durch eine bessere Scoring-Funktion

Problemstellung

Während Transformer-Modelle starke Fähigkeiten zum kontextbasierten Lernen (In-Context Learning, ICL) demonstrieren, zeigen sie systematische Fehler bei der Generalisierung auf Verteilungsverschiebungen – also Szenarien, in denen Eingaben zur Laufzeit oder algorithmische Strukturen von der Trainingsverteilung abweichen. Neuere Studien haben identifiziert, dass Large Language Models (LLMs) in „Settings mit niedriger Wahrscheinlichkeit" Schwierigkeiten haben und selbst dann nicht generalisieren, wenn die zugrundeliegenden Regeln unverändert bleiben.

Die Autoren untersuchen die architektonischen Ursprünge dieser Fehler mithilfe kontrollierter ICL-Aufgaben. Sie identifizieren die Softmax-Scoring-Funktion innerhalb des Aufmerksamkeitsmechanismus als einen Hauptverursacher dieser Generalisierungsfehler. Konkret beobachten sie, dass Softmax bei Eingabesequenzen, die Werte mit deutlich größeren Beträgen enthalten als während des Trainings gesehen, zu einer Aufmerksamkeits-Sättigung führt. Dieses Phänomen zwingt die Aufmerksamkeitsgewichte dazu, fast vollständig auf das einzelne Token mit dem maximalen Wert zu kollabieren und ignoriert dabei effektiv alle anderen Kontext-Token, die für die Aufgabe entscheidend sind. Dieser „Aufmerksamkeitskollaps" verhindert, dass das Modell Informationen über die Sequenz hinweg integriert, was zu systematischen Fehlern bei Aufgaben führt, die eine logische Aggregation oder funktionale Inferenz erfordern.

Methodik

Kontrolliertes experimentelles Setup

Um architektonische Effekte von Vor-Trainings-Artefakten zu isolieren, trainierten die Autoren Transformer-Modelle von Grund auf auf zwei synthetischen ICL-Aufgaben:

Quantifizierungsaufgabe: Bewertung der Fähigkeit des Modells, logische Quantoren („Jeder" und „Einige") über Sequenzen von Zahlen zu interpretieren.
Lineare Funktionsaufgabe: Bewertung der Fähigkeit des Modells, eine affine Funktion $f(x) = ax + b$ aus kontextuellen Beispielen zu inferieren.

Die Modelle wurden mit Daten trainiert, die aus einer Standardnormalverteilung $N(0, 1)$ gezogen wurden, und unter Verteilungsverschiebungen getestet, einschließlich längerer Sequenzlängen und Eingaben aus Verteilungen mit höherer Varianz ( $N(0, \sigma)$ , wobei $\sigma \ge 1$ ).

Die vorgeschlagene Lösung: Scaled Signed Averaging (SSA)

Die Autoren schlagen Scaled Signed Averaging (SSA) als trainierbare Alternative zu Softmax vor. SSA ersetzt die exponentielle Scoring-Funktion durch eine parametrisierte Funktion, die elementweise angewendet wird:
$x \mapsto (1 + b|x|)^{\text{sgn}(x)n}$
wobei $b > 0$ und $n \ge 1$ trainierbare skalare Parameter sind.

Wesentliche theoretische Eigenschaften:

Polynomiales vs. exponentielles Wachstum: Im Gegensatz zu Softmax, das exponentiell wächst und bei zunehmenden Logit-Unterschieden schnell zu einer „Hardmax"-Verteilung sättigt, wächst SSA polynomial.
Theoretische Garantien: Die Autoren beweisen mittels Theorem 1 und Theorem 2, dass sich unter globaler Logit-Vergrößerung oder innerer Disproportion (wobei die Punktzahl eines Tokens die anderer weit übersteigt) Softmax-Gewichte exponentiell schnell gegen 1 für den Gewinner und gegen 0 für andere konvergieren. Im Gegensatz dazu konvergiert SSA nur polynomial und bewahrt eine nicht-null „kontextuelle Masse" für sekundäre Token. Dies ermöglicht dem Modell, auch bei Vorliegen extremer Werte eine ausgewogene Sicht auf den Kontext zu bewahren.

Bewertungsumfang

Die Studie bewertet SSA in drei unterschiedlichen Settings:

Kontrollierte ICL-Aufgaben: Kleine Transformer (12 Schichten, 8 Köpfe), die von Grund auf trainiert wurden.
Nur-Decoder-Benchmarks: Ein 114-Millionen-Parameter-Nemotron-artiges Modell, das von Grund auf auf dem FineWeb-Korpus trainiert wurde.
Nur-Encoder-Architekturen: Varianten von BabyBERTa, die auf kindgerichtetem Sprachmaterial (AO-CHILDES-Korpus) trainiert und an einem grammatischen Probing-Suite evaluiert wurden.

Die Autoren testeten zudem systematisch bestehende Alternativen zu Softmax, darunter Sparsemax, Entmax, Temperature-scaled Softmax, CosFormer und SA-Softmax, und stellten fest, dass keine davon konsistente Verbesserungen gegenüber dem Standard-Softmax bei ihren spezifischen Aufgaben bot.

Wesentliche Ergebnisse

1. Kontrollierte ICL-Aufgaben

Generalisierung unter Verschiebung: SSA schneidet bei sowohl der Quantifizierungs- als auch der linearen Funktionsaufgabe auf Out-of-Distribution (OOD)-Daten deutlich besser ab als Softmax.
Robustheit gegenüber Betrag: Bei der Quantifizierungsaufgabe versagen Softmax-Modelle, wenn ein einzelner großer Wert in der Sequenz erscheint, und treffen Vorhersagen ausschließlich basierend auf diesem Wert. SSA-Modelle aggregieren Informationen korrekt über die gesamte Sequenz hinweg und halten auch bei extremen Eingabewerten niedrige Fehlerraten aufrecht.
Inferenz linearer Funktionen: SSA-Modelle erzielen bei der Inferenz von Funktionen mit Koeffizienten aus verschobenen Verteilungen im Vergleich zu Softmax-Baselines deutlich niedrigere mittlere quadratische Fehler (MSE).

2. Nur-Decoder-Benchmarks

NLP-Leistung: Ein 114-Millionen-Parameter-Decoder-only-Modell, das mit SSA trainiert wurde, erreichte eine niedrigere Perplexität als sein Softmax-Pendant sowohl auf in-Distribution (FineWeb) als auch auf out-of-Distribution (Wikipedia)-Texten.
Benchmark-Gewinne: Auf Standard-NLP-Benchmarks (z. B. ARC, BoolQ, HellaSwag) schnitt das auf SSA basierende Modell bei Zero-Shot-Evaluierungen konsistent besser ab als die Softmax-Baseline, mit bemerkenswerten Verbesserungen bei Aufgaben wie arc_easy und boolq.

3. Nur-Encoder-Modelle

Grammatisches Probing: SSA-basierte BabyBERTa-Modelle zeigten im Vergleich zu Softmax-basierten Modellen eine verbesserte Leistung bei mehreren grammatischen Probing-Aufgaben (z. B. Subjekt-Verb-Kongruenz, Argumentstruktur), was zeigt, dass die Vorteile auch auf Architekturen für maskierte Sprachmodellierung übertragbar sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Softmax-Sättigung eine fundamentale architektonische Einschränkung ist, die Aufmerksamkeitsmechanismen dazu veranlasst, bei Eingaben mit großem Betrag auf einzelne Token zu kollabieren, unabhängig davon, ob diese Token für die Aufgabe relevant sind. Dieser Fehlermodus wird als Ursache für schlechte Generalisierung im ICL unter Verteilungsverschiebungen identifiziert.

Die Bedeutung der Arbeit liegt in:

Identifizierung eines konkreten Mechanismus: Der Softmax-Scoring-Funktion wird als primärer Treiber von Generalisierungsfehlern in spezifischen ICL-Szenarien identifiziert, und nicht die Modellgröße oder die Komplexität der Daten.
Eine einfache, effektive Alternative: Die Einführung von SSA als „Drop-in"-Ersatz für Softmax, der lediglich zwei zusätzliche skalare Parameter pro Attention-Kopf erfordert.
Breite Anwendbarkeit: Der Nachweis, dass SSA die Leistung sowohl bei Nur-Decoder- als auch bei Nur-Encoder-Architekturen verbessert, und zwar sowohl bei synthetischen als auch bei realen NLP-Aufgaben.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen an, dass SSA zwar Fehler, die durch die Starrheit von Softmax verursacht werden, mildert, aber nicht alle Generalisierungsherausforderungen löst, insbesondere in Szenarien mit extremen Verteilungsverschiebungen, bei denen sich sowohl Eingabe- als auch Funktionsverteilungen signifikant vom Training unterscheiden. Sie schließen, dass die zugrundeliegende mathematische Struktur der Aufmerksamkeit, die die Betragigkeit von Token mit deren Relevanz vermischt, ein offenes Forschungsgebiet bleibt.