Adam's Law: Textual Frequency Law on Large Language Models

Titel: Adam's Law: Wet van Tekstuele Frequentie op Grootte Taalmodellen (LLM's)

Auteurs: Hongyuan Adam Lu, Z.L., Victor Wei, et al. (FaceMind Corporation & The Chinese University of Hong Kong)

---

1. Het Probleem

Hoewel tekstuele frequentie (hoe vaak een woord of zin voorkomt) al lang bekend is als een factor die menselijke cognitieve snelheid beïnvloedt, is de relatie met Large Language Models (LLM's) onderbelicht. Bestaand onderzoek toont aan dat:

• Grotere modellen zeldzame woorden beter voorspellen, wat suggereert dat het voorspellen van zeldzame (lage frequentie) woorden een moeilijker taak is dan frequente woorden.
• Verschillende prompts met dezelfde betekenis (parafrazes) zeer verschillende prestaties kunnen opleveren, zonder dat er een duidelijke consensus is over welke factoren hierbij een rol spelen.
• Er een gebrek is aan gestructureerde richtlijnen over welke data-vormen (bij hoge of lage frequentie) het meest effectief zijn voor prompting en fine-tuning, vooral gezien de beperkte rekencapaciteit.

De kernvraag is: Als de betekenis identiek blijft, welke tekstuele expressie (hoge of lage frequentie) levert de beste prestaties op voor LLM's?

2. Methodologie

De auteurs stellen een raamwerk voor dat bestaat uit drie onderling verbonden eenheden om de invloed van tekstuele frequentie te optimaliseren:

A. De Wet van Tekstuele Frequentie (Textual Frequency Law - TFL)

De centrale hypothese is dat bij gelijke betekenis, tekstuele data met een hogere zinsniveau-frequentie de voorkeur verdient boven data met een lage frequentie, zowel voor prompting als voor fine-tuning.

• Redenering: Data met hoge frequentie komt vaker voor in de pre-training corpora, waardoor LLM's deze patronen beter hebben "geleerd" en makkelijker begrijpen.
• Berekening: Omdat de trainingdata van veel LLM's gesloten is, wordt de zinsniveau-frequentie ($s_{freq}$) geschat via online open-source corpora. Dit gebeurt door de woordniveau-frequenties ($w_{freq}$) te vermenigvuldigen (geometrisch gemiddelde) voor alle woorden in een zin.

B. Tekstuele Frequentie Distillatie (Textual Frequency Distillation - TFD)

Om de schatting van de frequentie te verfijnen, vooral voor gesloten modellen waar de trainingdata niet direct toegankelijk is, introduceren de auteurs TFD.

• Proces: Het model wordt gevraagd om "verhaalcompletie" (story completion) uit te voeren op de bestaande dataset. De gegenereerde continuaties vormen een nieuw corpus ($D'$).
• Doel: Dit nieuwe corpus wordt gebruikt om de frequentie-schatting te updaten. Als woorden in de oorspronkelijke schatting een verwaarloosbare frequentie hadden, kan dit proces (via de output van het model zelf) een betere schatting geven.
• Formule: De definitieve frequentie $F(x)$ is een gewogen som van de oorspronkelijke schatting ($F_1$) en de gedistilleerde schatting ($F_2$).

C. Curriculum Tekstuele Frequentie Training (Curriculum Textual Frequency Training - CTFT)

Dit is een trainingsstrategie die de data niet willekeurig, maar in een specifieke volgorde presenteert.

• Strategie: In plaats van van "makkelijk naar moeilijk" (zoals bij traditioneel curriculum learning), worden de trainingsdata gesorteerd op stijgende tekstuele frequentie.
• Logica: Het model begint met het leren van zinnen met lagere frequentie (die diverser kunnen zijn) en bouwt geleidelijk op naar zinnen met hogere frequentie. Dit helpt het model om zich eerst aan de basis te stabiliseren voordat het complexere patronen leert, of omgekeerd, afhankelijk van de interpretatie van de auteurs (de paper stelt expliciet "increasing order of sentence-level frequency").

3. Belangrijkste Bijdragen

1. De TFL Hypothese: Het formuleren van de wet dat bij semantisch equivalente input, hogere frequentie leidt tot betere prestaties.
2. TFD Methode: Een innovatieve manier om frequentie-schattingen te verbeteren voor gesloten modellen via modelgeneratie (distillatie), zonder toegang tot de oorspronkelijke trainingdata.
3. CTFT Framework: Een nieuwe fine-tuning methode die data sorteert op frequentie, wat resulteert in betere convergentie en prestaties.
4. TFPD Dataset: Het creëren van de Textual Frequency Paired Dataset, een nieuwe dataset met gepaarde zinnen (hoge vs. lage frequentie) voor taken zoals wiskundig redeneren, machine vertaling, common-sense redeneren en tool calling.

4. Resultaten

De auteurs testten hun framework op diverse taken en modellen (o.a. DeepSeek-V3, GPT-4o-mini, Llama-3.3-70B, Qwen2.5):

• Wiskundig Redeneren (Math Reasoning):

  • Het gebruik van hoge-frequentie prompts verbeterde de nauwkeurigheid aanzienlijk.
  • Voor DeepSeek-V3 steeg de nauwkeurigheid van 63,55% naar 71,54%.
  • Voor Llama-3.3-70B steeg het van 80,49% naar 88,75%.
  • Analyse toonde aan dat het framework vooral fouten corrigeerde die bij lage frequentie werden gemaakt; correcte antwoorden bij lage frequentie bleven correct bij hoge frequentie.

• Machine Vertaling (NMT):

  • Op de TFPD dataset (100 talen) leverden hoge-frequentie inputs consistent betere resultaten op op alle metrieken (BLEU, chrF, COMET).
  • Bij DeepSeek-V3 verbeterde 99 van de 100 taalparen de BLEU-score.
  • Zelfs bij degradatie was de daling minimaal (<1 punt), wat de robuustheid van de methode bevestigt.

• Fine-tuning met CTFT:

  • Fine-tuning met hoge-frequentie data (zonder CTFT) presteerde al beter dan fine-tuning met lage-frequentie data of zelfs de originele ground-truth data (FLORES-200).
  • CTFT (sorteren op stijgende frequentie) leverde de beste resultaten op. Bijvoorbeeld, voor de taal Pangasinan (pag_Latn) steeg de BLEU-score van 3,78 (zonder CTFT) naar 4,91 (met CTFT), een verbetering van bijna 30%.

• Theoretische Onderbouwing:

  • De auteurs bieden een wiskundig bewijs (in de appendix) dat aantoont dat, onder bepaalde aannames (Zipf's law en beperkte modelfouten), een hogere zinsniveau-frequentie leidt tot een lagere Negative Log-Likelihood (NLL) verlies. Een lagere NLL correleert met betere taakprestaties.

5. Betekenis en Conclusie

Dit paper introduceert een fundamenteel nieuw perspectief op het trainen en gebruiken van LLM's: frequentie is een cruciale, maar vaak genegeerde, hyperparameter.

• Praktische Implicatie: Ontwikkelaars moeten bij het opstellen van prompts of het selecteren van trainingsdata bewust kiezen voor expressies die vaker voorkomen in de taal, zelfs als ze semantisch identiek zijn aan zeldzamere varianten.
• Efficiëntie: Het biedt een route om de prestaties van modellen te verbeteren zonder de modelgrootte te vergroten, simpelweg door de input-data te optimaliseren op basis van frequentie.
• Toekomst: De methode is vooral waardevol omdat deze werkt met gesloten modellen (waar trainingdata onbekend is) via de TFD-methode.

Samenvattend stelt "Adam's Law" dat hoge frequentie gelijkstaat aan hogere begrijpelijkheid voor LLM's, en dat het systematisch benutten van deze wet leidt tot significante verbeteringen in redeneer- en vertaalfouten.