Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

Technische Samenvatting: Voorspelbare Fabricages

Probleemstelling
Fouten in feitelijke terugroeping, of fabricages, blijven een kritieke faalmodus in Large Language Models (LLM's). Hoewel eerdere onderzoeken hebben vastgesteld dat de algehele modelprestatie schalingswetten volgt die gerelateerd zijn aan modelgrootte, datasetgrootte en rekenkracht, heeft geen enkel kader de kwaliteit van feitelijke terugroeping gekoppeld aan zowel modelgrootte als de samenstelling van de trainingsdata (specifiek, topicfrequentie). Bestaand werk behandelt modelschaal en kennisfrequentie als onafhankelijke drijfveren, maar mist een voorspellende functionele vorm die deze verenigt.

Methodologie
De auteurs evalueerden 38 LLM's (variërend van 1 miljard tot 1,6 biljoen parameters, inclusief dichte, Mixture-of-Experts en gesloten-bronmodellen) over 24 academische onderwerpen. De onderwerpen werden geselecteerd om vijf ordes van grootte te bestrijken in representatie van trainingsdata, gemeten aan de hand van het aantal academische werken van OpenAlex ($S$).

• Datageneratie: Elk model werd gevraagd om 10 academische referenties per onderwerp te genereren met behulp van een gestandaardiseerde prompt.
• Verificatiepijplijn: Een geautomatiseerd systeem, SourceVerify, verifieerde de gegenereerde referenties tegen OpenAlex, Google Scholar en DOI-registers. Het produceerde een continue authenticiteitsscore op basis van veldspecifieke overeenkomsten (titel, auteurs, jaar, venue, identificator).
• Kwaliteitsmaatstaf: De uiteindelijke kwaliteit van terugroeping werd gedefinieerd als het product van authenticiteit (verifieerd door SourceVerify) en relevantie (beoordeeld door een geautomatiseerd agent en gevalideerd door menselijke beoordelaars).
• Statistische Analyse: De auteurs pasten een sigmoidfunctie toe op de data, waarbij kwaliteit werd gemodelleerd als een functie van de log-lineaire combinatie van het aantal modelparameters ($P$) en de frequentie van topicrepresentatie ($S$).

Theoretisch Kader
De studie stelt een "superpositie-geïnspireerd" signaal-ruisverhoudingsmodel (SNR) voor.

• Signaal: De sterkte van de representatie van een concept schaalt met de frequentie ervan in de trainingsdata ($S$).
• Ruis: De interferentievloer wordt bepaald door modelcapaciteit ($P$). Volgens de theorie van superpositie, waarbij modellen meer features coderen dan er dimensies zijn, impliceert het terugroepen van een concept interferentie van andere overlappende representaties. Naarmate de modelcapaciteit toeneemt, daalt deze interferentievloer.
• De Sigmoid: Terugroeping treedt op wanneer het signaal de ruisvloer overschrijdt. De auteurs stellen dat de kwaliteit van terugroeping een sigmoidfunctie volgt van de log-som van deze factoren:
  $$\text{kwaliteit} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$$
  waarbij $\sigma$ de logistische functie is.

Belangrijkste Resultaten

1. Sigmoid-schaling: Het voorgestelde sigmoidmodel past de data over 16 dichte modellen van vier onafhankelijke families (Llama, Gemma, Mistral, Qwen) met een $R^2$ van 0,599. Bij analyse binnen individuele families verbetert de fit aanzienlijk ($R^2$ variërend van 0,74 tot 0,94).
2. Onafhankelijke drijfveren: Zowel modelgrootte ($P$) als topicfrequentie ($S$) dragen onafhankelijk bij aan de kwaliteit van terugroeping. Modelgrootte alleen verklaart 42,1% van de variantie, terwijl topicfrequentie een extra 17,8% toevoegt.
3. Drie regimes: De sigmoidcurve onthult drie distincte operationele regimes:
   • Vloer: Kleine modellen of zeldzame onderwerpen resulteren in "gepatroneerde fabricage", waarbij modellen hoogfrequente achternamen of generieke templates recyclen in plaats van specifieke feiten terug te roepen.
   • Stijging: Een gebied van log-lineaire verbetering waarbij het vergroten van capaciteit of frequentie evenredige winsten in terugroeping oplevert.
   • Plafond: Verzadiging treedt op wanneer de capaciteit het conceptinventaris overtreft, en de kwaliteit plateauert.
4. Citatiegradiënt: Grotere modellen roepen referenties op met lagere citatieaantallen (long-tail kennis) in vergelijking met kleinere modellen, die beperkt zijn tot sterk geciteerde (hoogfrequente) papers. Dit ondersteunt de hypothese dat grotere modellen de ruisvloer verlagen om zwakkere signalen op te halen.
5. Familiestijgingen: Er bestaan systematische verschuivingen tussen modelfamilies (bijvoorbeeld presteren Llama-modellen over het algemeen beter dan Gemma en Qwen bij vergelijkbare parameteraantallen), wat suggereert dat trainingsprocedures en data-curatie het snijpunt ($\gamma$) verschuiven zonder de schalingshelling te veranderen.

Betekenis en Claims
Het artikel claimt de eerste verenigde voorspellende schalingswet voor feitelijke terugroeping te bieden die zowel modelschaal als samenstelling van trainingsdata integreert. Door fabricages niet als willekeurige fouten te herformuleren, maar als een voorspelbaar gevolg van het comprimeren van niet-uniform verdeelde kennis in een eindige representatieve capaciteit, bieden de auteurs een kwantitatief kader voor het schatten van betrouwbaarheid.

De auteurs benadrukken dat algehele benchmarks vaak systematische discrepanties maskeren; een model kan goed presteren op hoogfrequente onderwerpen terwijl het faalt op long-tail concepten. Het kader suggereert dat het uitbreiden van betrouwbare terugroeping naar laagfrequente onderwerpen disproportioneel grote toenames in modelcapaciteit vereist, terwijl data-curatie en gerichte pre-training efficiënter kunnen zijn voor concepten nabij de terugroepdrempel. De studie concludeert dat voor zeer laagfrequente concepten, verrijking door middel van retrieval de noodzakelijke alternatief blijft voor parametrische terugroeping.

Beperkingen
De auteurs merken verschillende beperkingen op: het onderzoek is observationeel (correlatief) in plaats van causaal; de proxy voor trainingsdata ($S$) is indirect; de analyse is beperkt tot het Engels en academische referenties; en de specifieke schalingsparameters zijn mogelijk niet generaliseerbaar naar andere feitelijke domeinen zoals gezond verstand of procedurele kennis.