The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models

Resumen Técnico: El Almacenamiento Holístico de Frases Verbo+Up en Modelos de Lenguaje Basados en Texto y en Audio

Planteamiento del Problema
Un debate central en la lingüística concierne al compromiso entre computación (aplicar reglas abstractas para generar representaciones novedosas) y almacenamiento (recuperar representaciones holísticas de la memoria). Si bien el procesamiento del lenguaje humano utiliza claramente ambos, los factores que determinan cuándo una forma se almacena frente a cuándo se computa siguen sin comprenderse bien. Las teorías basadas en el uso sugieren que las unidades multipalabra de alta frecuencia y alta predictibilidad se almacenan de forma holística, un fenómeno evidenciado en la psicolingüística humana (por ejemplo, la detección más lenta de partículas en verbos frasales de alta frecuencia). Sin embargo, no está claro si los modelos de lenguaje de gran tamaño (LLM) y los modelos de reconocimiento automático del habla (ASR) desarrollan representaciones holísticas análogas. Específicamente, ¿dependen estos modelos de la memorización para frases frecuentes, y surge este mecanismo de almacenamiento a través de diferentes modalidades (texto frente a audio) y escalas de modelos?

Metodología
El estudio indaga en las representaciones internas de tres modelos basados en texto y un modelo basado en audio para probar el almacenamiento holístico de las frases Verbo+up (V+up).

1. Modelos Examinados:
   • LLMs basados en texto: Tres modelos autorregresivos entrenados en el corpus BabyLM v3 (150 millones de tokens, comparable a la exposición humana) con 125M, 350M y 1.3B de parámetros, además de un modelo más grande de 7B de parámetros (OLMo-3 7B) entrenado en Dolma v1.7.
   • Modelo basado en audio: Whisper-small, un modelo ASR de codificador-decodificador entrenado en audio hablado.
2. Diseño Experimental:
   • Enfoque de Clasificador: Se entrenaron clasificadores de regresión logística para distinguir la incrustación (embedding) del token up cuando aparece como una preposición independiente de otros tokens en la misma oración.
   • Pruebas: Estos clasificadores se aplicaron a frases V+up (por ejemplo, pick up) variando en frecuencia (conteo bruto en el corpus) y predictibilidad (log-odds de up siguiendo a un verbo específico).
   • Métrica: La puntuación del logit del clasificador indica la similitud con la representación del up independiente. Una puntuación de logit más baja implica que la representación de up dentro de la frase ha divergido de la forma independiente, lo que sugiere un almacenamiento holístico.
   • Experimentos:
     • Experimento 1: Se probó up como preposición únicamente.
     • Experimento 2: Se probó up como unidad de subpalabra (incluyendo instancias incrustadas en palabras como update) para descartar que el blanqueamiento semántico sea la única causa de la divergencia.
     • Experimento 3: Se aplicó la misma metodología a Whisper-small utilizando segmentos de audio hablado, extrayendo representaciones tanto del codificador como del decodificador.
   • Análisis: Se utilizaron regresiones de efectos mixtos bayesianos y Modelos Aditivos Generalizados (GAM) para analizar las puntuaciones de los logits a través de la frecuencia, la predictibilidad y las capas ocultas.

Contribuciones Clave

• Modelos de Código Abierto: Los autores entrenaron y lanzaron tres modelos autorregresivos en el corpus BabyLM v3, con puntos de control cada 20M de tokens, para facilitar la investigación sobre el aprendizaje del lenguaje a escala humana.
• Evidencia Transmodal: El estudio establece que el almacenamiento de frases holísticas surge tanto en los LLM basados en texto como en los modelos ASR, demostrando que las representaciones impulsadas por la frecuencia y la predictibilidad surgen a través de las modalidades.
• Escala y Capacidad: La investigación desentraña los efectos del tamaño del modelo, mostrando que, si bien los efectos de frecuencia son robustos en todos los tamaños, la sensibilidad a la predictibilidad se fortalece con la escala, lo que sugiere que capturar estadísticas de coocurrencia más allá de la frecuencia bruta requiere una mayor capacidad de representación.

Resultados

• Almacenamiento Holístico: Todos los modelos mostraron evidencia de almacenamiento holístico. Las frases V+up de alta frecuencia y alta predictibilidad resultaron en puntuaciones de logit del clasificador significativamente más bajas, lo que indica que la representación de up en estos contextos diverge de la representación del token independiente.
• Frecuencia vs. Predictibilidad:
  • Frecuencia: Se observaron efectos negativos fuertes y consistentes en todos los modelos y tamaños.
  • Predictibilidad: Los efectos fueron más débiles en los modelos más pequeños (BabyLMs) pero se volvieron progresivamente más fuertes y negativos en el modelo más grande (OLMo-3 7B). Esto sugiere que la sensibilidad a la predictibilidad requiere una mayor capacidad de modelo.
• Dinámica de Capas: En los modelos más grandes, la divergencia en las representaciones (almacenamiento holístico) apareció en las capas ocultas tempranas. En los modelos más pequeños, este efecto surgió solo en las capas posteriores.
• Modalidad de Audio: Whisper-small exhibió patrones similares tanto en su codificador como en su decodificador. Las frases de alta frecuencia y alta predictibilidad mostraron puntuaciones de logit más bajas, reflejando los resultados de los modelos basados en texto. El comportamiento de su codificador sugiere que abstrae la variabilidad acústica para formar representaciones similares a las de los modelos basados en texto.
• Robustez de Subpalabras: El Experimento 2 confirmó que estos efectos persisten incluso cuando up es tratado como una unidad de subpalabra, descartando el blanqueamiento semántico como la única explicación de la divergencia.

Significancia y Reivindicaciones
El artículo argumenta que estos hallazgos apoyan las teorías de uso del lenguaje, que postulan que el almacenamiento holístico es un fenómeno gradual impulsado por la frecuencia y la predictibilidad, en lugar de una distinción binaria entre elementos almacenados y reglas computadas.

• Aprendizaje a Escala Humana: La aparición del almacenamiento holístico en modelos entrenados con cantidades de datos comparables a la exposición humana (BabyLMs) sugiere que dicho almacenamiento es una consecuencia natural de aprender de patrones distribucionales, no un resultado de la memorización a gran escala.
• Continuo de Representación: Los resultados por capa sugieren que el almacenamiento holístico es mejor entendido como un espectro. Las representaciones pueden permanecer composicionales en las capas inferiores y volverse cada vez más holísticas en las capas superiores, con los modelos más grandes exhibiendo esta divergencia de forma más temprana.
• Utilidad de los Transformers: El estudio posiciona a las arquitecturas de transformadores como marcos productivos para investigar la mecánica de los patrones de almacenamiento similares a los humanos, ofreciendo un nivel de detalle mecánico (representaciones internas) que los datos conductuales por sí solos no pueden proporcionar.

Los autores mantienen la modestia respecto a las limitaciones, señalando que el estudio se restringe al inglés y a la construcción V+up, y que se requiere trabajo futuro para examinar la emergencia del almacenamiento como una función de la dinámica de entrenamiento en lugar de solo de los puntos de control finales.