Adam's Law: Textual Frequency Law on Large Language Models

1. Planteamiento del Problema

Aunque la frecuencia textual ha sido validada como un factor relevante en la cognición humana (afectando la velocidad de lectura y la activación neuronal), su relación con el rendimiento de los Modelos de Lenguaje Grandes (LLMs) ha sido poco estudiada.

El problema central abordado por los autores es la falta de directrices sobre qué tipo de datos (entre varias paráfrasis con el mismo significado) son más beneficiosos para el entrenamiento y la inferencia de los LLMs.

• Contexto: Los LLMs a menudo reciben entradas con el mismo significado semántico pero diferentes expresiones lingüísticas (paráfrasis).
• Hipótesis no explorada: ¿Es preferible utilizar expresiones de alta frecuencia (comunes) o baja frecuencia (raras) para el prompting y el fine-tuning?
• Limitación actual: Muchos LLMs son de código cerrado, por lo que no se tiene acceso directo a sus datos de entrenamiento para calcular frecuencias exactas. Además, los recursos computacionales para el entrenamiento son limitados, lo que hace necesario seleccionar los datos más eficientes.

2. Metodología Propuesta

Los autores proponen un marco de trabajo compuesto por tres unidades principales, denominadas colectivamente como el marco de Ley de Frecuencia Textual (TFL):

A. Ley de Frecuencia Textual (TFL)

Es el principio fundamental que postula que, cuando se mantiene el mismo significado, los datos textuales con mayor frecuencia a nivel de oración deben preferirse tanto para el prompting (inferencia) como para el fine-tuning (ajuste fino).

• Fundamento: Se asume que los datos de alta frecuencia aparecen más a menudo durante la fase de pre-entrenamiento, por lo que los LLMs los "entienden" mejor y tienen una menor pérdida de entropía cruzada al procesarlos.
• Estimación de frecuencia: Dado que no se puede acceder a los datos de entrenamiento privados, se propone estimar la frecuencia a nivel de oración utilizando recursos de código abierto en línea (corpus web). La frecuencia de la oración ($sfreq$) se calcula como la media geométrica de las frecuencias de las palabras individuales ($wfreq$).

B. Destilación de Frecuencia Textual (TFD)

Para mejorar la estimación de frecuencia basada en recursos externos y adaptarla al modelo específico (especialmente si es de código cerrado), se introduce la Destilación de Frecuencia Textual.

• Proceso: Se utiliza el LLM objetivo para completar historias basadas en los datos del conjunto de entrenamiento.
• Objetivo: Generar un nuevo corpus ($D'$) que refleja cómo el modelo "ve" o completa los datos.
• Cálculo: Se calcula una nueva estimación de frecuencia ($F_2$) basada en este corpus generado. La frecuencia final ($F$) es una combinación ponderada de la estimación original ($F_1$) y la destilada ($F_2$), permitiendo ajustar la frecuencia de palabras que podrían tener una frecuencia estimada cercana a cero en los datos externos pero que el modelo reconoce.

C. Entrenamiento Curricular de Frecuencia Textual (CTFT)

Es una estrategia de fine-tuning que organiza los datos de entrenamiento basándose en su frecuencia textual.

• Estrategia: En lugar de entrenar aleatoriamente, el modelo se entrena en un orden creciente de frecuencia de oración (de menor a mayor frecuencia).
• Justificación: Se basa en la idea de que las expresiones de baja frecuencia pueden ser más diversas y complejas, por lo que es beneficioso establecer una base con datos más comunes y frecuentes antes de introducir variaciones más raras.

3. Contribuciones Clave

1. Propuesta de la Ley de Frecuencia Textual (TFL): Establece que, para paráfrasis semánticamente equivalentes, las expresiones de mayor frecuencia textual conducen a un mejor rendimiento en LLMs.
2. Método de Destilación (TFD): Una técnica novedosa para refinar la estimación de frecuencia utilizando la propia capacidad de generación del modelo, superando la barrera de los datos de entrenamiento cerrados.
3. Método de Entrenamiento (CTFT): Un enfoque de aprendizaje curricular que ordena los datos por frecuencia, demostrando mejoras significativas en el ajuste fino.
4. Creación del Dataset TFPD: Los autores construyeron el Textual Frequency Paired Dataset (TFPD), un conjunto de datos emparejado que contiene pares de oraciones (alta y baja frecuencia) con el mismo significado, cubriendo tareas de razonamiento matemático, traducción automática, razonamiento de sentido común y llamadas a herramientas agénticas.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples modelos (GPT-4o-mini, DeepSeek-V3, Llama-3.3-70B, Qwen2.5) y tareas:

• Razonamiento Matemático (Math Reasoning):

  • El uso de prompts de alta frecuencia mejoró consistentemente la precisión.
  • Ejemplo: En DeepSeek-V3, la precisión aumentó del 63.55% (baja frecuencia) al 71.54% (alta frecuencia). En Llama-3.3-70B, subió del 80.49% al 88.75%.
  • El análisis mostró que el marco corrige errores que ocurrían en la versión de baja frecuencia sin degradar los casos ya correctos.

• Traducción Automática (Machine Translation):

  • Se evaluaron 100 pares de idiomas. El uso de entradas de alta frecuencia superó a las de baja frecuencia en métricas BLEU, chrF y COMET.
  • En DeepSeek-V3, 99 de 100 pares de idiomas mejoraron en BLEU, con 12 pares mejorando más de 5 puntos.
  • Las degradaciones de rendimiento fueron mínimas (menos de 1 punto) y raras.

• Razonamiento de Sentido Común y Agentic Tool Calling:

  • Se observaron mejoras consistentes en la precisión de selección de herramientas y respuestas de sentido común al utilizar entradas de alta frecuencia.

• Fine-tuning (CTFT):

  • El entrenamiento curricular (CTFT) con datos de alta frecuencia superó a los métodos tradicionales (entrenamiento aleatorio o de fácil a difícil basado en complejidad sintáctica).
  • En tareas de traducción, el modelo ajustado con CTFT y datos de alta frecuencia superó incluso a los modelos ajustados con datos de "verdad fundamental" (ground-truth) originales en ciertas métricas.

• Análisis de Correlación:

  • Se encontró una fuerte correlación positiva entre la frecuencia textual y el rendimiento final (BLEU), incluso cuando las instancias no eran paráfrasis directas.
  • La frecuencia textual mostró una correlación muy débil con métricas de complejidad sintáctica tradicional (como la profundidad del árbol de dependencia), lo que sugiere que la TFL captura una dimensión diferente y complementaria a la complejidad estructural.

5. Significado e Impacto

• Nueva Dimensión de Optimización: El trabajo introduce la "frecuencia textual" como un factor crítico y subestimado en la ingeniería de prompts y la estrategia de entrenamiento, más allá de la calidad o cantidad de los datos.
• Eficiencia de Recursos: Ofrece una guía práctica para seleccionar datos de entrenamiento y prompts cuando los recursos computacionales son limitados, sugiriendo que priorizar expresiones comunes maximiza el retorno de inversión.
• Validación Teórica: El artículo incluye una demostración teórica (en el apéndice) que vincula la Ley de Zipf y la minimización de la pérdida de entropía cruzada con la preferencia de modelos por secuencias de alta frecuencia, proporcionando una base matemática sólida a la observación empírica.
• Aplicabilidad General: Al funcionar en modelos de código abierto y cerrado, y en múltiples tareas (razonamiento, traducción, agentes), el marco propuesto es altamente escalable y aplicable en la industria.

En conclusión, "Adam's Law" demuestra que, para los LLMs, la "comúnidad" de una expresión (su frecuencia en el lenguaje) es un indicador de facilidad de procesamiento y un predictor de rendimiento superior, tanto en la inferencia como en el aprendizaje.