🤖 machine learning

Inferring the Size of Large Language Models From Popular Text Memorization

Questo articolo introduce un metodo black-box che inferisce limiti inferiori conservativi sul numero di parametri dei grandi modelli linguistici analizzando la loro accuratezza di memorizzazione di testi popolari, consentendo la classificazione delle dimensioni dei modelli e rivelando strategie di scalatura industriali nascoste anche per sistemi con pesi chiusi.

Autori originali: Ivica Nikolic

Pubblicato 2026-05-29

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ivica Nikolic

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in una stanza dove diverse persone stanno recitando storie famose come Alice nel Paese delle Meraviglie o la Bibbia. Non puoi vederle, non puoi chiedere loro quanto siano grandi i loro cervelli e non puoi sbirciare nei loro appunti. Puoi solo ascoltare ciò che dicono dopo, quando le interrompi a metà di una frase.

Questo è esattamente il problema che i ricercatori hanno affrontato con i moderni modelli di intelligenza artificiale (Large Language Models). Le grandi aziende tecnologiche costruiscono queste IA potenti ma tengono segreti i loro "progetti". Non ti dicono quanti "neuroni" (parametri) ha l'IA, che è il modo standard per misurare quanto sia intelligente o costoso un modello.

Questo articolo introduce un astuto metodo investigativo "a scatola nera" per indovinare la dimensione di questi segreti cervelli artificiali semplicemente ascoltando quanto bene completano le frasi.

L'idea centrale: Il "test di memoria"

I ricercatori hanno realizzato che quasi ogni grande IA viene addestrata sullo stesso enorme mucchio di testi internet. Questo significa che hanno tutti letto gli stessi libri popolari, testi religiosi e documenti famosi.

Pensaci come a un concorso di memoria. Se chiedi a una persona di completare una frase tratta da un libro che ha memorizzato, una persona con un cervello più grande (più parametri) generalmente indovinerà correttamente più spesso di qualcuno con un cervello più piccolo.

I ricercatori hanno testato questa ipotesi:

Scegliendo 37 testi famosi di pubblico dominio (come Amleto, la Bibbia e la Costituzione degli Stati Uniti).
Tagliandoli in migliaia di piccoli frammenti.
Chiedendo a diversi modelli di IA di prevedere la parola successiva in quei frammenti.

Hanno trovato un modello chiaro: Più grande è l'IA, meglio riesce a indovinare la parola successiva in queste storie famose. Anche se altri fattori (come il modo in cui l'IA è stata insegnata) contano, la dimensione del cervello è stata il principale motore del successo.

I due strumenti investigativi

Per trasformare questi "punteggi di memoria" in una stima della dimensione, il team ha costruito due strumenti diversi:

1. La "Legge di Scalatura" (La Mappa)
Immagina di avere un gruppo di persone note (IA open-source) di cui conosci le dimensioni del cervello. Tracci i loro punteggi di memoria contro le loro dimensioni note e disegni una curva liscia che collega i punti. Sembra una scala: man mano che il punteggio sale, la dimensione sale in modo esponenziale.

Come funziona: Quando un'IA segreta sostiene il test, vedi dove si posiziona sulla scala. Se ottiene un punteggio simile a un modello da 100 miliardi di parametri, stimi che sia circa di quella dimensione.
Il limite: Poiché l'IA segreta potrebbe essere costruita diversamente (come un modello "Mixture of Experts" dove solo una parte del cervello è attiva alla volta), i ricercatori hanno deciso di essere molto conservativi. Non indovinano la dimensione esatta; indovinano un pavimento minimo. Dicono: "Questa IA è almeno grande così".

2. Il Test "Testa a Testa" (La Gara)
A volte non hai bisogno di un numero esatto; ti basta sapere chi è più grande.

Come funziona: I ricercatori mettono a confronto due IA segrete nello stesso test di memoria. Usano una "gara" statistica per vedere se un'IA è costantemente migliore nel completare le frasi rispetto all'altra.
Il risultato: Se l'IA A batte l'IA B nella gara, possono affermare con sicurezza che "l'IA A è sicuramente più grande dell'IA B", anche senza conoscere i numeri esatti.

Cosa hanno scoperto

Il team ha testato il loro metodo su 19 modelli open-source (dove conoscevano le risposte) e ha avuto ragione nel 95% dei casi. Poi, hanno rivolto la loro attenzione ai modelli "segreti" di aziende come OpenAI, Google, Anthropic e Alibaba.

Ecco cosa ha rivelato il "lavoro investigativo" sulle strategie nascoste del settore:

La strategia del "Grande Cervello" (Google e Anthropic): Queste aziende sembrano costruire modelli con enormi conteggi di parametri. Ad esempio, i loro modelli di fascia alta mostravano segni di avere centinaia di miliardi di parametri, suggerendo che stanno diventando sempre più grandi con ogni nuova generazione.
La strategia dell'"Efficienza" (OpenAI e Alibaba): Sorprendentemente, i ricercatori hanno scoperto che i modelli più recenti di OpenAI (come le varianti GPT-4o e GPT-5) non sembravano diventare significativamente più grandi in termini di conteggio grezzo dei parametri rispetto alle versioni più vecchie. Sembra che stiano raggiungendo un "tetto dimensionale". Invece di ingrandire il cervello, sembrano rendere il cervello esistente più intelligente attraverso un addestramento migliore o algoritmi più intelligenti.
Il controllo della gerarchia: Il metodo ha correttamente identificato la classificazione interna dei prodotti. Ad esempio, ha correttamente indovinato che il modello "Opus" di Anthropic è più grande del suo modello "Sonnet", che a sua volta è più grande del suo modello "Haiku", senza che gli venisse comunicata questa gerarchia in anticipo.

I limiti (Le note a piè di pagina)

L'articolo è molto onesto su ciò che non può fare:

È un limite inferiore: Il metodo è progettato per essere sicuro. Ti dirà che l'IA è almeno grande X, ma la dimensione reale potrebbe essere molto più grande. È come dire: "Questa scatola pesa almeno 10 libbre", quando in realtà potrebbe pesare 50.
Il problema "MoE": Alcune IA moderne utilizzano un'architettura "Mixture of Experts". Immagina una biblioteca dove solo alcuni bibliotecari specifici vengono chiamati per rispondere a una domanda, invece di tutto il personale. Poiché i ricercatori non possono vedere quanti bibliotecari ci sono in totale rispetto a quanti sono attivi, non possono ottenere un conteggio totale esatto per questi modelli, solo un minimo conservativo.
Nessun imbroglio: Il metodo presuppone che l'IA non stia cercando di ingannarli. Se un'azienda avesse programmato intenzionalmente la sua IA per dimenticare i libri famosi per nascondere la sua dimensione, questo metodo fallirebbe.

La conclusione

Questo articolo dimostra che non hai bisogno dei progetti segreti di un'azienda per avere una buona idea di quanto sia grande la sua IA. Semplicemente testando quanto bene un'IA ricorda storie famose, puoi dedurre una "dimensione minima" affidabile e scoprire se un'azienda sta facendo crescere i suoi modelli rendendoli più grandi o rendendoli più intelligenti. Trasforma la "scatola nera" dell'IA in qualcosa in cui possiamo sbirciare, anche se non possiamo vedere tutto.

Riepilogo Tecnico: Inferire la Dimensione dei Modelli Linguistici di Grandi Dimensioni dalla Memorizzazione di Testi Popolari

1. Formulazione del Problema

Il conteggio totale dei parametri ( $|f|$ ) di un Modello Linguistico di Grandi Dimensioni (LLM) è una metrica primaria per interpretare capacità, costi e confronti delle prestazioni. Tuttavia, per i modelli più avanzati a pesi chiusi sviluppati dalle principali aziende tecnologiche (ad esempio OpenAI, Google, Anthropic), questa metrica è quasi sempre riservata. Questa opacità crea ambiguità nel confronto tra modelli chiusi e aperti e oscura i driver economici della tariffazione delle API e della latenza.

Il documento affronta due specifici problemi di inferenza sotto vincoli rigorosi di scatola nera (accesso limitato alla sottomissione di prompt e all'osservazione degli output testuali, senza accesso a logit, pesi o stati nascosti):

Inferenza della Dimensione Assoluta: Stima del conteggio dei parametri $|f|$ di un modello sconosciuto $f$ .
Inferenza della Dimensione Relativa: Determinare se $|f| > (1 + \tau)|g|$ per una soglia $\tau > 0$ , stabilendo se un modello è significativamente più grande di un altro.

La sfida principale consiste nell'isolare il segnale della dimensione del modello da variabili confondenti come la distribuzione dei dati di addestramento, l'adattamento alle istruzioni e le scelte architetturali, che influenzano anch'essi la qualità della generazione testuale.

2. Metodologia

L'approccio proposto si basa sull'osservazione che testi popolari e ampiamente diffusi (ad esempio letteratura classica, testi religiosi, documenti fondativi) sono presenti in virtualmente ogni corpus di pre-addestramento su larga scala. Gli autori ipotizzano che la capacità di un modello di prevedere accuratamente il token successivo in questi testi memorizzati sia fondamentalmente limitata dal suo conteggio totale dei parametri.

Raccolta Dati ed Estrazione del Segnale:

Testi Sorgente: Viene utilizzato un insieme diversificato di 37 testi pubblici di dominio pubblico popolari (ad esempio Alice nel Paese delle Meraviglie, La Bibbia) e 4 testi di base oscuri.
Metriche di Accuratezza: Per un modello $M$ , un testo $T$ e una lunghezza del prefisso $l$ , gli autori calcolano l'accuratezza grezza ( $\hat{\alpha}_r$ ) e l'accuratezza sollevata ( $\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$ , dove $\hat{\beta}$ è l'accuratezza di base sui testi oscuri).
Profilo di Accuratezza: Campionando multiple lunghezze di prefisso e testi, il metodo costruisce un vettore di profilo di accuratezza ad alta dimensionalità ( $A_{T,L}(M) \in \mathbb{R}^{2KL}$ ) per ciascun modello, aggregando le prestazioni attraverso contesti variabili.

Framework di Inferenza:
Il documento introduce due metodi complementari per tradurre questi profili di accuratezza in stime di dimensione:

Stimatore basato su Legge di Scalatura (Inferenza Assoluta):
- Proiezione PCA: L'Analisi delle Componenti Principali (PCA) viene applicata ai profili di accuratezza di modelli a pesi aperti noti per estrarre un indice latente di dimensione monodimensionale ( $z_M$ ). Questo indice cattura la varianza dominante nelle prestazioni, assunta essere guidata dal conteggio dei parametri.
- Scalatura Esponenziale: Basandosi sulle leggi di scalatura neurale, la relazione tra l'indice latente $z$ e il conteggio dei parametri $\theta$ è modellata come esponenziale: $\hat{\theta}(z) = A \cdot e^{B \cdot z}$ . Questa curva viene calibrata utilizzando modelli a pesi aperti con dimensioni note.
- Limite Conservativo: Per i modelli chiusi, la stima è derivata da questa curva ma aggiustata di un fattore 0,5 (basato sui margini di errore della validazione incrociata) per produrre un limite inferiore conservativo.
Test Statistico a Coppie (Inferenza Relativa):
- Test di Permutazione dei Segni Bloccato: Per confrontare due modelli $f$ e $g$ , il metodo calcola la differenza nei loro profili di accuratezza. Poiché le misurazioni all'interno dello stesso testo sono correlate, il test tratta ogni testo sorgente come un "blocco".
- Test di Ipotesi: Un test di permutazione dei segni bloccato unilaterale valuta se le differenze di accuratezza favoriscono sistematicamente un modello rispetto all'altro. L'ipotesi nulla ( $H_0$ ) assume nessun vantaggio sistematico. Il rifiuto di $H_0$ indica che il modello superiore è probabilmente più grande.
- Soglia: Il test determina se $|f| > (1+\tau)|g|$ con un tasso di falsi positivi controllato.

Ambito e Limitazioni:
Il metodo assume modelli generici addestrati su corpus standard di scala internet. È esplicitamente limitato per escludere modelli con oblio catastrofico dovuto a fine-tuning specializzato (ad esempio modelli solo codice) o quelli che impiegano evasione strategica (ad esempio rimozione intenzionale di testi pubblici). Per le architetture Mixture-of-Experts (MoE), il metodo fornisce un limite inferiore conservativo sul conteggio totale dei parametri, poiché i parametri attivi durante l'inferenza sono un sottoinsieme del totale.

3. Contributi Chiave

Segnale di Dimensione basato sulla Memorizzazione: Il documento dimostra che l'aggregazione dell'accuratezza del token successivo su testi popolari produce un segnale robusto e ad alta dimensionalità fortemente correlato alla dimensione del modello, anche in assenza di accesso interno al modello.
Framework Duale di Limite Inferiore: Propone un approccio a doppio metodo che combina uno stimatore di legge di scalatura guidato da PCA e un rigoroso test statistico a coppie. L'inferenza finale per qualsiasi modello target è il massimo dei limiti prodotti da questi due metodi.
Validazione e Applicazione: Il framework è stato validato su 19 modelli densi a pesi aperti (raggiungendo $R^2 = 0,95$ per la stima assoluta e circa il 90% di precisione/recall per il test relativo), 16 modelli MoE a pesi aperti e 21 modelli popolari a pesi chiusi.

4. Risultati

Modelli Densi a Pesi Aperti: Lo stimatore basato su legge di scalatura ha raggiunto un $R^2$ di 0,9504 sul set di calibrazione e 0,9387 nella validazione incrociata leave-one-out. Tutte le previsioni sono rientrate in una banda di errore di un fattore due.
Modelli MoE a Pesi Aperti: Il framework ha stabilito con successo limiti inferiori validi per tutti i 16 modelli MoE valutati. Sebbene la "strettezza" (rapporto tra limite e dimensione reale) variasse significativamente (ad esempio 86% per WizardLM-2-8x22b contro 11% per Mimo-v2-pro), i limiti sono stati costantemente conservativi (mai superiori alla dimensione reale).
Modelli a Pesi Chiusi: Applicato a 21 modelli di Anthropic, Google, OpenAI e Alibaba, il framework:
- Ha correttamente recuperato le gerarchie interne dei prodotti (ad esempio Opus > Sonnet > Haiku per Anthropic).
- Ha rivelato strategie di scalatura industriale divergenti:
  - Google e Anthropic: Hanno mostrato una scalatura generazionale significativa, con limiti inferiori che superano i 400 miliardi di parametri per i modelli di punta (ad esempio Claude Opus 4.6 a 433B, Gemini 3 Flash a 405B).
  - OpenAI e Alibaba: Hanno operato sotto tetti di parametri rigorosi. Modelli di punta come GPT-4o e Qwen3.6-Max sono stati limitati vicino a 110B, suggerendo che i guadagni di prestazioni sono guidati dall'ottimizzazione algoritmica o dalla qualità dei dati piuttosto che da un'espansione massiccia dei parametri.
- Ha identificato limiti specifici per varianti più piccole (ad esempio GPT-5.4-nano a 2B, Claude Haiku 4.5 a 49B).

5. Significato e Affermazioni

Il documento afferma di fornire il primo metodo sistematico a scatola nera per sondare le scelte di progettazione nascoste degli LLM chiusi. Dimostrando che la dimensione del modello lascia un'"impronta digitale" rilevabile nella memorizzazione di testi di dominio pubblico, gli autori mostrano che:

Trasparenza: È possibile inferire limiti inferiori conservativi sulla dimensione del modello senza accesso a pesi o logit.
Insight Strategico: Il metodo rivela che l'industria non è monolitica; alcuni provider stanno scalando i parametri in modo aggressivo, mentre altri sembrano aver raggiunto un tetto di parametri, affidandosi ad altre leve per i miglioramenti delle capacità.
Robustezza: L'approccio è robusto rispetto alle variazioni nei dati di addestramento e nell'architettura per modelli generici, a condizione che il segnale di memorizzazione non sia intenzionalmente soppresso.

Gli autori rimangono modesti, riconoscendo che i limiti sono conservativi per costruzione e che recuperare il conteggio esatto dei parametri per architetture MoE o modelli con evasione strategica rimane una sfida aperta. Il lavoro non afferma di sostituire le metriche interne, ma offre una sonda esterna rigorosa per la "scatola nera" dello sviluppo dell'IA moderna.