Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

Resumen Técnico: Confabulaciones Predecibles

Enunciado del Problema
Los errores de recuperación de hechos, o confabulaciones, siguen siendo un modo de fallo crítico en los Modelos de Lenguaje Grandes (LLM). Si bien investigaciones anteriores han establecido que el rendimiento agregado del modelo sigue leyes de escalado relacionadas con el tamaño del modelo, el tamaño del conjunto de datos y la capacidad computacional, ningún marco único ha vinculado la calidad de la recuperación de hechos tanto con el tamaño del modelo como con la composición de los datos de entrenamiento (específicamente, la frecuencia de los temas). El trabajo existente trata la escala del modelo y la frecuencia del conocimiento como impulsores independientes, pero carece de una forma funcional predictiva que los unifique.

Metodología
Los autores evaluaron 38 LLM (que abarcan desde 1 mil millones hasta 1,6 billones de parámetros, incluyendo modelos densos, de Mezcla de Expertos y de código cerrado) en 24 temas académicos. Los temas se seleccionaron para abarcar cinco órdenes de magnitud en la representación de datos de entrenamiento, medidos por las cantidades de trabajos académicos de OpenAlex ($S$).

• Generación de datos: Se solicitó a cada modelo que generara 10 referencias académicas por tema utilizando un prompt estandarizado.
• Pipeline de verificación: Un sistema automatizado, SourceVerify, autenticó las referencias generadas contra OpenAlex, Google Scholar y registros de DOI. Produjo una puntuación continua de autenticidad basada en coincidencias a nivel de campo (título, autores, año, lugar de publicación, identificador).
• Métrica de calidad: La calidad final de la recuperación se definió como el producto de la autenticidad (verificada por SourceVerify) y la relevancia (evaluada por un agente automatizado y validada por evaluadores humanos).
• Análisis estadístico: Los autores ajustaron una función sigmoide a los datos, modelando la calidad como una función de la combinación log-lineal del número de parámetros del modelo ($P$) y la frecuencia de representación del tema ($S$).

Marco Teórico
El estudio propone un modelo de relación señal-ruido (SNR) "inspirado en la superposición".

• Señal: La fuerza de la representación de un concepto escala con su frecuencia en los datos de entrenamiento ($S$).
• Ruido: El suelo de interferencia está determinado por la capacidad del modelo ($P$). Bajo la teoría de la superposición, donde los modelos codifican más características que dimensiones, recuperar un concepto implica interferencia de otras representaciones superpuestas. A medida que aumenta la capacidad del modelo, este suelo de interferencia disminuye.
• La Sigmoide: La recuperación ocurre cuando la señal supera el suelo de ruido. Los autores postulan que la calidad de la recuperación sigue una función sigmoide de la suma logarítmica de estos factores:
  $$\text{calidad} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$$
  donde $\sigma$ es la función logística.

Resultados Clave

1. Escalado Sigmoide: El modelo sigmoide propuesto se ajusta a los datos en 16 modelos densos de cuatro familias independientes (Llama, Gemma, Mistral, Qwen) con un $R^2$ de 0,599. Cuando se analiza dentro de familias individuales, el ajuste mejora significativamente ($R^2$ que oscila entre 0,74 y 0,94).
2. Impulsores Independientes: Tanto el tamaño del modelo ($P$) como la frecuencia del tema ($S$) contribuyen independientemente a la calidad de la recuperación. El tamaño del modelo por sí solo explica el 42,1% de la varianza, mientras que la frecuencia del tema añade un 17,8% adicional.
3. Tres Regímenes: La curva sigmoide revela tres regímenes operativos distintos:
   • Suelo: Los modelos pequeños o los temas raros resultan en "fabricación basada en plantillas", donde los modelos reciclan apellidos de alta frecuencia o plantillas genéricas en lugar de recordar hechos específicos.
   • Rampa: Una región de mejora log-lineal donde el aumento de la capacidad o la frecuencia produce ganancias proporcionales en la recuperación.
   • Techo: Ocurre la saturación cuando la capacidad excede el inventario de conceptos y la calidad se estabiliza.
4. Gradiente de Citas: Los modelos más grandes recuerdan referencias con menos citas (conocimiento de cola larga) en comparación con los modelos más pequeños, que están restringidos a artículos altamente citados (de alta frecuencia). Esto respalda la hipótesis de que los modelos más grandes reducen el suelo de ruido lo suficiente como para recuperar señales más débiles.
5. Desplazamientos Familiares: Existen desplazamientos sistemáticos entre familias de modelos (por ejemplo, los modelos Llama generalmente superan a Gemma y Qwen con conteos de parámetros similares), lo que sugiere que los procedimientos de entrenamiento y la curación de datos desplazan la intersección ($\gamma$) sin alterar la pendiente de escalado.

Significado y Afirmaciones
El artículo afirma proporcionar la primera ley de escalado predictiva unificada para la recuperación de hechos que incorpora tanto la escala del modelo como la composición de los datos de entrenamiento. Al replantear las confabulaciones no como errores aleatorios sino como una consecuencia predecible de comprimir conocimiento distribuido de forma no uniforme en una capacidad representacional finita, los autores ofrecen un marco cuantitativo para estimar la fiabilidad.

Los autores enfatizan que las pruebas de referencia agregadas a menudo ocultan disparidades sistemáticas; un modelo puede rendir bien en temas de alta frecuencia mientras falla en conceptos de cola larga. El marco sugiere que extender la recuperación fiable a temas de baja frecuencia requiere aumentos desproporcionados en la capacidad del modelo, mientras que la curación de datos y el pre-entrenamiento dirigido pueden ser más eficientes para conceptos cercanos al umbral de recuperación. El estudio concluye que para conceptos de frecuencia muy baja, la augmentación de la recuperación sigue siendo la alternativa necesaria a la recuperación paramétrica.

Limitaciones
Los autores señalan varias restricciones: el estudio es observacional (correlacional) en lugar de causal; el proxy de datos de entrenamiento ($S$) es indirecto; el análisis se limita al inglés y a referencias académicas; y los parámetros de escalado específicos pueden no generalizarse a otros dominios factuales como el conocimiento común o el conocimiento procedimental.