💬 NLP

Recursive numeral systems are highly regular and easy to process

Dieses Paper argumentiert, dass die Einbeziehung von Regularität und Verarbeitungskomplexität durch einen Minimum Description Length (MDL)-Rahmen die Struktur rekursiver Numeralsysteme besser erklärt und natürlich jene Einschränkungen berücksichtigt, die vorherige effizienzbasierte Modelle ad hoc auferlegen mussten.

Ursprüngliche Autoren: Ponrawee Prasertsom, Andrea Silvi, Jennifer Culbertson, Moa Johansson, Devdatt Dubhashi, Kenny Smith

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ponrawee Prasertsom, Andrea Silvi, Jennifer Culbertson, Moa Johansson, Devdatt Dubhashi, Kenny Smith

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das ultimative Benutzerhandbuch für das Zählen zu entwerfen. Sie wollen es kurz genug halten, um in Ihre Tasche zu passen (effizient), aber klar genug, damit jeder genau versteht, welche Zahl gemeint ist (informativ).

Lange Zeit glaubten Linguisten, das Geheimnis dahinter, warum menschliche Sprachen so zählen, wie sie es tun, liege einfach in einem Gleichgewicht zwischen der Frage, wie viele Wörter man braucht (Lexikongröße) und wie lang die Sätze werden (Komplexität). Sie dachten, Sprachen würden entwickeln, um den „Sweet Spot“ zwischen diesen beiden Wständen zu finden.

Dieses neue Paper argumentiert jedoch, dass diese alte Sichtweise eine entscheidende Zutat vermissen lässt: Regelmäßigkeit.

Hier ist die Aufschlüsselung ihres Arguments unter Verwendung einfacher Analogien:

1. Das „Lego“- vs. das „Zauberkasten“-Prinzip

Betrachten Sie eine menschliche Sprache wie Englisch oder Mandarin als einen Satz von Lego-Steinen.

Sie haben eine kleine Menge an Basisteilen (1, 2, 3... 10).
Sie haben ein paar Regeln, um sie zusammenzustecken (addieren, multiplizieren).
Um die Zahl 43 zu bilden, stecken Sie einfach einen „4“-Stein, einen „10“-Stein und einen „3“-Stein zusammen. Es ist ein vorhersagbares Muster.

Stellen Sie sich nun ein „theoretisch optimales“ System vor, das nach alten mathematischen Modellen genauso gut wäre. Dieses System ist wie ein Zauberkasten.

Für die Zahl 18 sagt der Kasten: „10 + 8“.
Für 19 sagt er: „25 - 7“.
Für 20 sagt er: „5 × 4“.
Für 21 sagt er: „3 × 7“.

Mathematisch gesehen könnte dieser Zauberkasten weniger Wörter oder kürzere Durchschnittssätze verwenden als das Lego-System. Aber er ist chaotisch. Es gibt kein Muster. Man kann nicht erraten, wie man „22“ sagt, nur indem man „21“ kennt. Man muss jede einzelne Zahl als einen einzigartigen, seltsamen Code auswendig lernen.

Die Autoren argumentieren, dass der Zauberkasten auf einer Excel-Tabelle zwar effizient aussieht, aber scheitert, weil ihm die Regelmäßigkeit fehlt. Menschen hassen den Zauberkasten, weil er schwer zu lernen und schwer zu verarbeiten ist.

2. Die neue Messgröße: „Komprimierbarkeit“

Die Forscher verwendeten ein Konzept aus der Informatik namens Minimum Description Length (MDL). Betrachten Sie dies als eine Zip-Datei.

Ein regelmäßiges System (wie Lego) ist hochgradig komprimierbar. Man kann ein winziges Regelbuch schreiben: „Um die Zahlen 10–99 zu bilden, nimm eine Ziffer, multipliziere sie mit 10 und addiere eine weitere Ziffer.“ Die „Zip-Datei“ ist winzig.
Ein irreguläres System (wie der Zauberkasten) kann nicht komprimiert werden. Man muss jede einzelne Zahl individuell auflisten, da es keine Muster gibt, die man ausnutzen könnte. Die „Zip-Datei“ ist riesig.

Das Paper behauptet, dass natürliche Sprachen nicht nur deshalb „optimal“ sind, weil sie kurz sind, sondern weil sie hochgradig komprimierbar sind. Sie sind leicht für unser Gehirn zu „zippen“ (zu speichern) und zu „entpacken“ (zu verarbeiten).

3. Testen der Theorie

Die Autoren führten eine massive Simulation durch:

Sie nahmen 128 reale menschliche Sprachen (wie Englisch, Mandarin, Französisch).
Sie erzeugten 10.000 zufällige, künstliche Sprachen (einschließlich der „Zauberkasten“-Typen, die bisherige mathematische Modelle als „perfekt“ bezeichneten).

Das Ergebnis:
Die menschlichen Sprachen waren konsistent regelmäßiger und leichter zu verarbeiten als die künstlichen Sprachen. Selbst wenn sie die künstlichen Sprachen dazu zwangen, exakt dieselben Bausteine (Ziffern und Multiplikatoren) zu verwenden wie die menschlichen Sprachen, gewannen die menschlichen Systeme dennoch. Sie waren besser darin, diese Bausteine in ein vorhersagbares Muster zu organisieren.

4. Das „Gewicht“-Problem

Frühere Studien gingen davon aus, dass wir kleine Zahlen (1, 2, 3) viel häufiger verwenden als große Zahlen (90, 99), und gaben kleinen Zahlen daher in ihren Berechnungen viel „Gewicht“. Sie dachten: „Wenn wir uns nur um kleine Zahlen kümmern, ist der Zauberkasten in Ordnung.“

Die Autoren testeten dies, indem sie die Regeln änderten, um alle Zahlen gleich zu behandeln (ein „uniformer Prior“).

Überraschung: Selbst als jede Zahl gleich viel zählte, sahen die menschlichen Sprachen immer noch viel effizienter und regelmäßiger aus als die künstlichen.
Schlussfolgerung: Die „Zauberkasten“-Systeme sahen nur deshalb effizient aus, weil die Mathematik die großen, chaotischen Zahlen ignorierte. Wenn man das gesamte Bild betrachtet, sind die menschlichen Sprachen die klaren Gewinner, weil sie eine Struktur besitzen.

Das Fazit

Das Paper kommt zu dem Schluss, dass Regelmäßigkeit ein grundlegender Druckfaktor in der Sprachentwicklung ist. Es geht nicht nur darum, Platz zu sparen oder informativ zu sein; es geht darum, ein System zu schaffen, das Regeln folgt, damit unser Gehirn nicht eine Million zufällige Codes auswendig lernen muss.

Natürliche Sprachen sind nicht einfach nur „effizient“; sie sind vorhersagbar. Sie sind wie eine gut organisierte Bibliothek, in der man jedes Buch finden kann, indem man einem einfachen System folgt, anstatt wie in einem chaotischen Bücherstapel, in dem man den Standort jedes einzelnen Buches auswendig kennen muss. Diese Vorhersagbarkeit ist das, was sie leicht lernbar und leicht anwendbar macht und warum sie so sind, wie sie sind.

Technisches Resümee: Regularität und Verarbeitungskomplexität in rekursiven Numeralsystemen

Problemstellung

Jüngste Forschungen in der Linguistik haben umfassend nachgewiesen, dass die cross-linguistische Variation durch Zwänge zur effizienten Kommunikation begrenzt wird, was oft als Abwägung zwischen Einfachheit (z. B. Lexikgröße) und Informativität gerahmt wird. Die bisherigen Effizienzanalysen übersehen jedoch weitgehend die Systematik (Regularität) von Formen, ein definierendes Merkmal natürlicher Sprache, bei dem Form-Bedeutungs-Abbildungen regelhaften Mustern folgen.

Diese Lücke zeigt sich besonders deutlich bei der Untersuchung rekursiver Numeralsysteme (Zählsysteme). Vorherige Arbeiten von Denić und Szymanik (2024, D&S) argumentierten, dass natürliche Systeme den Trade-off zwischen Lexikgröße und durchschnittlicher morphosyntaktischer Komplexität optimieren. Während ihr Modell zeigte, dass natürliche Systeme nahe der theoretischen Pareto-Front liegen, beinhalteten die von ihrem Modell generierten „optimalen“ Systeme hochgradig irreguläre, unnatürliche Systeme (z. B. Systeme mit alternierenden Basen). Um dies zu lösen, führten Yang und Regier (2025, Y&R) ad-hoc-Beschränkungen ein, um den Suchraum künstlich auf menschenähnliche Systeme einzuschränken. Die Autoren argumentieren, dass diese Beschränkungen unbefriedigend sind, da sie keinen theoretischen Erklärungsansatz bieten; idealerweise sollten menschenähnliche Eigenschaften als Nebenprodukte fundamentalerer Drücke entstehen. Das Kernproblem besteht darin, dass aktuelle Metriken nicht in der Lage sind, Regularität und Verarbeitungskomplexität zu erfassen, welche als die entscheidenden Differenzierungsmerkmale zwischen natürlichen und theoretisch möglichen Numeralsystemen hypothetisiert werden.

Methodik

Die Autoren schlagen ein Framework vor, das auf dem Prinzip der minimalen Beschreibungslänge (Minimum Description Length, MDL) basiert, um zwei Schlüsseleigenschaften rekursiver Numeralsysteme zu quantifizieren: Irregularität und Verarbeitungskomplexität.

1. Formalisierung der Irregularität

Regularität wird über Komprimierbarkeit gemessen. Die Autoren modellieren ein Numeralsystem als einen partiellen deterministischen endlichen Automaten (DFA), der alle gültigen Numerale für einen gegebenen Bereich (1–99) generiert.

Metrik: Irregularität $L(G)$ ist definiert als die Anzahl der Bits, die zur Kodierung des DFA erforderlich sind.
Berechnung: Die Größe des DFA wird durch die Anzahl der Zustände ( $|S|$ ), Übergänge ( $|Z|$ ) und Symbole ( $|\Sigma|$ ) bestimmt. Ein hochgradig reguläres System (wie Karo Batak) hat einen kleinen DFA mit wenigen Zuständen und Übergängen, was zu einer geringeren Beschreibungslänge führt.
Algorithmus: Sie verwenden den Algorithmus von Mihov und Schulz (2019), um den minimalen partiellen DFA für eine gegebene Menge von Numeralen zu inferieren.

2. Formalisierung der Verarbeitungskomplexität

Die Verarbeitungskomplexität misst den Aufwand, der erforderlich ist, um ein Numerale gegeben durch den DFA zu parsen oder zu generieren.

Metrik: $L(N|G)$ ist die durchschnittliche Information (in Bits), die erforderlich ist, um den eindeutigen Parsing-Pfad für eine Menge von Zahlen $N$ durch die Grammatik $G$ zu bestimmen.
Berechnung: Dies summiert die Log-Wahrscheinlichkeiten der durchlaufenen Übergänge in jedem Zustand, plus ein zusätzliches Bit für jeden gefundenen akzeptierenden Zustand.
Priors: Die Autoren testen ihre Maße zunächst unter Verwendung eines Potenzgesetz-Priors ( $P(n) \propto n^{-2}$ ), was den kommunikativen Bedarf für kleine Zahlen widerspiegelt. Später testen sie einen uniformen Prior, um die Annahme in Frage zu stellen, dass kleine Zahlen die Effizienzberechnungen dominieren.

3. Experimentelles Design

Die Studie vergleicht drei Kategorien von Systemen:

Natürliche Systeme: 128 rekursive Numeralsysteme aus natürlichen Sprachen (auf Morphem-Ebene annotiert).
Baseline-Artifizielle Systeme: 10.000 zufällig generierte Systeme unter Verwendung der Grammatik von Hurford.
„Optimale“ Artifizielle Systeme:
- Systeme von D&S (optimiert für Lexikgröße vs. morphosyntaktische Komplexität).
- Systeme von Y&R (D&S-Systeme, die durch ad-hoc-Regeln beschränkt wurden).

Die Autoren führen zudem eine Lokale Nachbarschaftsanalyse durch. Für jedes natürliche System generieren sie eine Menge alternativer Systeme, die exakt dieselben Ziffern ( $D$ ), Multiplikatoren ( $M$ ), Kombinatoren ( $C$ ) und Numerallängen ( $L_{Num}$ ) teilen. Dies kontrolliert für Lexikgröße und morphosyntaktische Komplexität, um die Effekte der strukturellen Anordnung (Regularität) zu isolieren.

Kernergebnisse

1. Natürliche Systeme vs. Zufällige Baselines

Natürliche Systeme weisen eine signifikant höhere Regularität (niedrigere Irregularitätswerte) und eine geringere Verarbeitungskomplexität auf als die 10.000 zufällig generierten Baseline-Systeme. Kein untersuchtes Zufallssystem war gleichzeitig regulierter und weniger komplex als die natürlichen Systeme.

2. Natürliche Systeme vs. „Optimale“ Systeme (D&S und Y&R)

D&S-Systeme: Obwohl D&S-Systeme auf der Lexik/Komplexitäts-Front liegen, sind sie oft hochgradig irregulär und weisen eine hohe Verarbeitungskomplexität im Vergleich zu natürlichen Systemen auf.
Y&R-Systeme: Die ad-hoc-Beschränkungen in Y&R verbessern die Regularität, stimmen aber nicht vollständig mit natürlichen Systemen überein. Einige Y&R-Systeme erscheinen unter dem Potenzgesetz-Prior „effizienter“ als natürliche Systeme; dies ist jedoch ein Artefakt des Priors, der große Zahlen stark abwertet. Diese „super-effizienten“ Systeme nutzen extrem kleine Lexika (Ziffern 1–5), um große Zahlen durch tiefe Verschachtelung zu konstruieren (z. B. $46 \approx (((2 \times 2 + 1) \times 2 + 1) \times 2 + 1) \times 2$ ).
Uniformer Prior: Wenn der Potenzgesetz-Prior durch einen uniformen Prior ersetzt wird, verlieren die „super-effizienten“ Y&R-Systeme ihren Vorteil. Die für große Zahlen erforderliche tiefe Verschachtelung erhöht die Verarbeitungskomplexität erheblich, wodurch sie weniger effizient als natürliche Systeme werden.

3. Lokale Nachbarschaftsanalyse

Selbst wenn man die spezifischen Ziffern, Multiplikatoren und Kombinatoren kontrolliert (wodurch Lexikgröße und durchschnittliche morphosyntaktische Komplexität konstant gehalten werden), liegen natürliche Systeme konsistent auf oder nahe der Pareto-Front des Irregularitäts- vs. Verarbeitungskomplexitäts-Trade-offs. Dies deutet darauf hin, dass die spezifische strukturelle Anordnung natürlicher Systeme nicht bloß ein Nebenprodukt der Optimierung von Lexikgröße und morphosyntaktischer Komplexität ist, sondern durch Drücke für Regularität und einfache Verarbeitung getrieben wird.

Bedeutung und Behauptungen

Das Paper behauptet, dass Regularität und Verarbeitungskomplexität fundamentale Drücke sind, die linguistische Systeme formen, die sich von dem Simplicity-Informativeness-Trade-off unterscheiden und ergänzen.

Theoretischer Beitrag: Die Autoren argumentieren, dass die in vorangegangener Arbeit (Y&R) verwendeten ad-hoc-Beschränkungen effektiv die Regularität erzwingen. Indem sie Regularität über MDL formalisieren, demonstrieren sie, dass diese Beschränkungen natürlich aus dem Druck folgen, die Beschreibungslänge und den Verarbeitungsaufwand zu minimieren.
Kritik bestehender Modelle: Die Studie stellt die Hinlänglichkeit von Lexikgröße und morphosyntaktischer Komplexität als alleinige Metriken für Effizienz in Frage. Sie zeigt, dass die Optimierung dieser Metriken allein hochgradig unnatürliche, irreguläre Systeme hervorbringen kann, die das „menschenähnliche“ Wesen von Numeralsystemen nicht erfassen.
Rolle von Priors: Das Paper hebt die Sensitivität von Effizienzansprüchen gegenüber der angenommenen Prior-Verteilung von Zahlen hervor. Es legt nahe, dass ein uniformer Prior angemessener sein könnte, um die Effizienz rekursiver Systeme zu bewerten, da deren primäre Funktion der Ausdruck großer Zahlen ist, die durch Potenzgesetz-Priors stark abgewertet werden.
Breitere Implikationen: Der Ansatz legt nahe, dass Effizienzstudien in anderen Domänen (z. B. grammatikalische Kategorien, Farbbezeichnungen) die Systematik von Formen miteinbeziehen müssen. Die Behandlung von kompositorischen Signalen als gleichermaßen komplex wie unanalysierbare könnte dazu führen, dass die Rolle der Regularität in der Sprachentwicklung unterschätzt wird.

Die Autoren kommen zu dem Schluss, dass natürliche rekursive Numeralsysteme nicht nur für die Kommunikationseffizienz (im Sinne des Informationstransfers) optimiert sind, sondern auch für strukturelle Effizienz (Regularität) und rechnerische Handhabbarkeit (Verarbeitungskomplexität).