Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models

Título: Repetición sin Exclusividad: Sensibilidad a la Escala de los Mecanismos Referenciales en Modelos de Lenguaje a Escala Infantil

1. El Problema

El estudio aborda una brecha crítica en la evaluación de modelos de lenguaje a escala infantil (BabyLM). Mientras que la literatura actual ha evaluado extensamente la sintaxis y la comprensión del lenguaje natural en estos modelos, la pragmática referencial (cómo se usan las palabras para identificar objetos en el mundo) permanece inexplorada.

El foco específico es la Exclusividad Mutua (ME, por sus siglas en inglés), un sesgo cognitivo humano donde los niños asumen que una palabra nueva se refiere a un objeto nuevo, y no a uno que ya tiene un nombre. La pregunta central es: ¿Puede la Exclusividad Mutua emerger en modelos de lenguaje puramente textuales entrenados únicamente con estadísticas distribucionales del habla dirigida a niños (CDS), sin ninguna referencia visual o grounding (anclaje) al mundo?

2. Metodología

Los autores diseñaron un experimento pre-registrado para evaluar la sensibilidad a la escala y la capacidad de inferencia referencial.

• Datos: Se utilizó el corpus AO-CHILDES (habla dirigida a niños en inglés americano), que contiene aproximadamente 4 millones de tokens. Se observó que este corpus tiene una alta tasa de repetición de sustantivos (los cuidadores suelen repetir nombres de objetos), pero una tasa muy baja de contextos de desambiguación con múltiples referentes.
• Modelos:
  • Se entrenaron 45 modelos autoregresivos basados en la arquitectura GPT-2 desde cero.
  • Grid de entrenamiento: 3 tamaños de modelo (Pequeño: 2.9M, Mediano: 8.9M, Grande: 33.5M parámetros) × 3 duraciones de entrenamiento (5, 10 y 20 épocas) × 5 semillas aleatorias.
  • También se evaluó un modelo de lenguaje enmascarado (BabyBERTa) en una fase piloto.
• Métricas y Diseños de Evaluación:
  1. Ruta de Supresión Familiar-Familiar (H1): Se probó si etiquetar un objeto familiar reduce la probabilidad de predecir ese mismo objeto en un contexto de dos referentes (lo cual indicaría ME). La predicción opuesta (aumentar la probabilidad) indicaría priming de repetición.
  2. Diagnóstico de Dependencia del Contexto (H2): Se diseñó para distinguir entre una verdadera inferencia pragmática y artefactos de similitud de embeddings. Se compararon condiciones con y sin contexto de desambiguación y con tokens "nonce" (palabras inventadas).
  3. Ruta de Respuesta a la Dosis (H3): Se varió el número de repeticiones (0 a 3) para ver si el efecto de priming aumentaba monótonamente.

3. Contribuciones Clave

• Primera Evaluación Sistemática de ME en Modelos Textuales: Es el primer estudio que prueba rigurosamente la Exclusividad Mutua en modelos de lenguaje puramente textuales entrenados con datos a escala infantil.
• Diagnóstico de Dependencia del Contexto: Introducen una nueva herramienta metodológica para detectar si los efectos pragmáticos aparentes en los LLMs son realmente inferencias o simplemente artefactos de similitud de embeddings y estadísticas de frecuencia.
• Análisis de Sensibilidad a la Escala: Proporcionan evidencia empírica sobre cómo el rendimiento referencial cambia (o no) a través de un rango de 12x en parámetros y 3.8x en perplejidad.

4. Resultados Principales

Los hallazgos son consistentes y robustos a través de todas las configuraciones de modelos:

• Ausencia de Exclusividad Mutua (Anti-ME): En ninguna de las 9 celdas del grid de entrenamiento se observó Exclusividad Mutua. Por el contrario, todos los modelos mostraron un sesgo fuerte hacia el priming de repetición (85-100% de los ítems). Cuando un objeto familiar era re-etiquetado, el modelo aumentaba la probabilidad de predecir ese mismo nombre, en lugar de suprimirlo.
• Efecto de la Calidad del Modelo: A medida que mejoraba el modelado del lenguaje (menor perplejidad, más épocas, más parámetros), la magnitud del priming de repetición se atenuaba (correlación negativa $\rho = -0.533$), pero nunca cruzó a cero ni se invirtió. Incluso los mejores modelos mostraron un priming negativo (anti-ME) asintótico.
• Diagnóstico de Contexto (H2 Confirmado): El diagnóstico reveló que los patrones que parecían ME con tokens nonce eran completamente explicados por la similitud de los embeddings, no por la desambiguación referencial. De hecho, la condición sin contexto de desambiguación (nonce_only) producía señales "ME" más fuertes que la condición completa, demostrando que el contexto pragmático no estaba siendo utilizado para la inferencia.
• Respuesta a la Dosis (H3 Parcialmente Confirmada): El priming aumentaba con el número de repeticiones, aunque la monotonicidad estricta se debilitó en los modelos más grandes y entrenados, lo que sugiere que estos modelos aprenden mejor las transiciones de tema del discurso natural (no repetir indefinidamente), pero sin desarrollar exclusividad.

5. Significado e Implicaciones

• Limitación de la Aprendizaje Distribucional: El estudio demuestra que, bajo presupuestos de datos a escala infantil y entrada puramente textual, las estadísticas distribucionales del habla dirigida a niños favorecen el seguimiento de referencias basado en la repetición, no la exclusividad léxica.
• La Necesidad de Grounding (Anclaje): Los resultados apoyan la hipótesis de que la Exclusividad Mutua requiere grounding referencial (representaciones de objetos, imágenes o conjuntos de referentes). Sin un conjunto de referentes para mapear las etiquetas, los modelos no pueden realizar la inferencia de exclusividad. Esto conecta con la literatura de cognición anclada (grounded cognition).
• Refutación de Hipótesis Nativistas: El hallazgo sugiere que la ME no es una maquinaria innata que emerge automáticamente con el texto, sino una competencia que depende de la estructura de entrada (la presencia de referentes competidores).
• Futuro de los BabyLM: El estudio argumenta que la brecha en la evaluación de BabyLM no es solo metodológica, sino estructural. Para capturar fenómenos referenciales como la ME, es probable que se requieran enfoques multimodales (texto + imagen/objeto), ya que el aprendizaje puramente textual en estas escalas tiene un límite fundamental en la adquisición de pragmática referencial.

En conclusión, los modelos de lenguaje a escala infantil aprenden a rastrear referencias mediante la repetición estadística, pero no desarrollan la capacidad de inferir que "una palabra nueva debe referirse a un objeto nuevo" sin la presencia de un anclaje visual o referencial explícito.