Inferring the Size of Large Language Models From Popular Text Memorization

Resumen Técnico: Inferencia del Tamaño de los Modelos de Lenguaje Grandes a Partir de la Memorización de Textos Populares

1. Formulación del Problema

La cantidad total de parámetros ($|f|$) de un Modelo de Lenguaje Grande (LLM) es una métrica principal para interpretar capacidades, costos y comparaciones de rendimiento. Sin embargo, para los modelos de pesos cerrados más avanzados desarrollados por grandes empresas tecnológicas (por ejemplo, OpenAI, Google, Anthropic), esta métrica casi siempre se mantiene en secreto. Esta opacidad crea ambigüedad al comparar modelos cerrados y abiertos, y oscurece los impulsores económicos de la fijación de precios de las API y la latencia.

El artículo aborda dos problemas de inferencia específicos bajo restricciones estrictas de caja negra (el acceso se limita a enviar indicaciones y observar salidas de texto, sin acceso a logits, pesos o estados ocultos):

1. Inferencia de Tamaño Absoluto: Estimar la cantidad de parámetros $|f|$ de un modelo desconocido $f$.
2. Inferencia de Tamaño Relativo: Determinar si $|f| > (1 + \tau)|g|$ para un umbral $\tau > 0$, estableciendo si un modelo es significativamente más grande que otro.

El desafío central es aislar la señal del tamaño del modelo de variables de confusión como la distribución de los datos de entrenamiento, el ajuste de instrucciones y las decisiones arquitectónicas, las cuales también influyen en la calidad de la generación de texto.

2. Metodología

El enfoque propuesto se basa en la observación de que los textos populares y ampliamente circulados (por ejemplo, literatura clásica, textos religiosos, documentos fundacionales) están presentes en virtualmente todos los corpus de preentrenamiento a gran escala. Los autores hipotetizan que la capacidad de un modelo para predecir con precisión el siguiente token en estos textos memorizados está fundamentalmente limitada por su cantidad total de parámetros.

Recopilación de Datos y Extracción de Señales:

• Textos Fuente: Se utiliza un conjunto diverso de 37 textos públicos populares (por ejemplo, Alicia en el País de las Maravillas, La Biblia) y 4 textos de referencia oscuros.
• Métricas de Precisión: Para un modelo $M$, un texto $T$ y una longitud de prefijo $l$, los autores calculan la precisión bruta ($\hat{\alpha}_r$) y la precisión elevada ($\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$, donde $\hat{\beta}$ es la precisión de referencia en textos oscuros).
• Perfil de Precisión: Mediante el muestreo de múltiples longitudes de prefijo y textos, el método construye un vector de perfil de precisión de alta dimensión ($A_{T,L}(M) \in \mathbb{R}^{2KL}$) para cada modelo, agregando el rendimiento en diversos contextos.

Marco de Inferencia:
El artículo introduce dos métodos complementarios para traducir estos perfiles de precisión en estimaciones de tamaño:

1. Estimador de Ley de Escalamiento (Inferencia Absoluta):

   • Proyección PCA: Se aplica un Análisis de Componentes Principales (PCA) a los perfiles de precisión de modelos de pesos abiertos conocidos para extraer un índice latente de tamaño unidimensional ($z_M$). Este índice captura la varianza dominante en el rendimiento, asumiendo que es impulsada por la cantidad de parámetros.
   • Escalamiento Exponencial: Basado en las leyes de escalamiento neuronal, la relación entre el índice latente $z$ y la cantidad de parámetros $\theta$ se modela como exponencial: $\hat{\theta}(z) = A \cdot e^{B \cdot z}$. Esta curva se calibra utilizando modelos de pesos abiertos con tamaños conocidos.
   • Límite Conservador: Para modelos cerrados, la estimación se deriva de esta curva pero se ajusta mediante un factor de 0.5 (basado en márgenes de error de validación cruzada) para producir un límite inferior conservador.

2. Prueba Estadística Pareada (Inferencia Relativa):

   • Prueba de Permutación de Signos Bloqueada: Para comparar dos modelos $f$ y $g$, el método calcula la diferencia en sus perfiles de precisión. Debido a que las mediciones dentro del mismo texto están correlacionadas, la prueba trata cada texto fuente como un "bloque".
   • Prueba de Hipótesis: Una prueba de permutación de signos bloqueada de un lado evalúa si las diferencias de precisión favorecen sistemáticamente a un modelo sobre el otro. La hipótesis nula ($H_0$) asume que no hay ventaja sistemática. El rechazo de $H_0$ indica que el modelo superior es probablemente más grande.
   • Umbralización: La prueba determina si $|f| > (1+\tau)|g|$ con una tasa de falsos positivos controlada.

Alcance y Limitaciones:
El método asume modelos de propósito general entrenados en corpus estándar a escala de internet. Su alcance está explícitamente delimitado para excluir modelos con olvido catastrófico debido a un ajuste fino especializado (por ejemplo, modelos solo de código) o aquellos que emplean evasión estratégica (por ejemplo, olvido intencional de textos públicos). Para arquitecturas de Mezcla de Expertos (MoE), el método proporciona un límite inferior conservador sobre la cantidad de parámetros total, ya que los parámetros activos durante la inferencia son un subconjunto del total.

3. Contribuciones Clave

1. Señal de Tamaño Basada en Memorización: El artículo demuestra que agregar la precisión de siguiente token en textos populares genera una señal robusta y de alta dimensión fuertemente correlacionada con el tamaño del modelo, incluso en ausencia de acceso interno al modelo.
2. Marco de Doble Límite Inferior: Propone un enfoque de doble método que combina un estimador de ley de escalamiento impulsado por PCA y una prueba estadística pareada rigurosa. La inferencia final para cualquier modelo objetivo es el máximo de los límites producidos por estos dos métodos.
3. Validación y Aplicación: El marco se valida en 19 modelos densos de pesos abiertos (logrando un $R^2 = 0.95$ para la estimación absoluta y una precisión/recordación de ~90% para la prueba relativa), 16 modelos MoE de pesos abiertos y 21 modelos de pesos cerrados populares.

4. Resultados

• Modelos Densos de Pesos Abiertos: El estimador de ley de escalamiento logró un $R^2$ de 0.9504 en el conjunto de calibración y 0.9387 en la validación cruzada de dejar-uno-fuera. Todas las predicciones cayeron dentro de una banda de error de un factor de dos.
• Modelos MoE de Pesos Abiertos: El marco estableció con éxito límites inferiores válidos para los 16 modelos MoE evaluados. Si bien la "estrechez" (relación entre el límite y el tamaño real) varió significativamente (por ejemplo, 86% para WizardLM-2-8x22b frente a 11% para Mimo-v2-pro), los límites fueron consistentemente conservadores (nunca excedieron el tamaño real).
• Modelos de Pesos Cerrados: Aplicado a 21 modelos de Anthropic, Google, OpenAI y Alibaba, el marco:
  • Recuperó correctamente las jerarquías internas de productos (por ejemplo, Opus > Sonnet > Haiku para Anthropic).
  • Reveló estrategias de escalamiento de la industria divergentes:
    • Google y Anthropic: Mostraron un escalamiento generacional significativo, con límites inferiores que superan los 400 mil millones de parámetros para modelos insignia (por ejemplo, Claude Opus 4.6 en 433B, Gemini 3 Flash en 405B).
    • OpenAI y Alibaba: Operaron bajo techos estrictos de parámetros. Modelos insignia como GPT-4o y Qwen3.6-Max se limitaron cerca de 110B, lo que sugiere que las ganancias de rendimiento son impulsadas por la optimización algorítmica o la calidad de los datos en lugar de una expansión masiva de parámetros.
  • Identificó límites específicos para variantes más pequeñas (por ejemplo, GPT-5.4-nano en 2B, Claude Haiku 4.5 en 49B).

5. Significado y Afirmaciones

El artículo afirma proporcionar la primera metodología sistemática de caja negra para sondear las decisiones de diseño ocultas de los LLM cerrados. Al demostrar que el tamaño del modelo deja una "huella dactilar" detectable en la memorización de textos de dominio público, los autores muestran que:

• Transparencia: Es posible inferir límites inferiores conservadores sobre el tamaño del modelo sin acceso a pesos o logits.
• Perspectiva Estratégica: El método revela que la industria no es monolítica; algunos proveedores están escalando parámetros agresivamente, mientras que otros parecen haber alcanzado un techo de parámetros, dependiendo de otras palancas para mejoras de capacidad.
• Robustez: El enfoque es robusto frente a variaciones en los datos de entrenamiento y la arquitectura para modelos de propósito general, siempre que la señal de memorización no sea suprimida intencionalmente.

Los autores permanecen modestos, reconociendo que los límites son conservadores por construcción y que recuperar la cantidad exacta de parámetros para arquitecturas MoE o modelos con evasión estratégica sigue siendo un desafío abierto. El trabajo no afirma reemplazar las métricas internas, sino ofrecer una sonda externa rigurosa para la "caja negra" del desarrollo moderno de la IA.