BabyLM Turns 4 and Goes Multilingual: Call for Papers for the 2026 BabyLM Workshop

A continuación presento un resumen técnico detallado del documento "BabyLM Turns 4 and Goes Multilingual: Call for Papers for the 2026 BabyLM Workshop", traducido y adaptado al español.

Resumen Técnico: BabyLM 2026 y el Desafío Multilingüe

1. Problema y Contexto

El objetivo central de la iniciativa BabyLM es cerrar la brecha entre la modelización cognitiva y el entrenamiento de modelos de lenguaje (LM). La pregunta fundamental que busca responder es: ¿Cómo puede un sistema computacional aprender un lenguaje a partir de entradas limitadas?

Hasta la edición de 2025, el desafío se centró predominantemente en el inglés. Sin embargo, existen limitaciones en la investigación actual:

• La mayoría de los modelos de lenguaje se entrenan con cantidades masivas de datos (miles de millones de palabras), lo cual es cognitivamente implausible para el aprendizaje humano infantil.
• Existe una falta de investigación sobre la adquisición del lenguaje en contextos multilingües y en lenguas con diversidad tipológica, más allá del inglés.
• Los conjuntos de datos anteriores han mostrado problemas de toxicidad y contenido de odio, lo que dificulta la investigación sobre interacciones seguras entre modelos.

2. Metodología y Estructura del Desafío

Para la edición de 2026 (4ª iteración), el equipo de BabyLM introduce cambios estructurales significativos en el formato del taller y el desafío:

A. Pistas (Tracks) de Competición:
Se mantienen y redefinen tres pistas principales con restricciones estrictas de datos:

1. STRICT: Entrenamiento en $\le$ 100 millones de palabras.
2. STRICT-SMALL: Entrenamiento en $\le$ 10 millones de palabras.
3. MULTILINGUAL (Nueva): Entrenamiento en una mezcla multilingüe de inglés, neerlandés y chino.
   • Regla de datos: Los participantes pueden crear una mezcla personalizada de los tres idiomas hasta un total de 100 millones de tokens.
   • Ajuste de Byte Premium: Para garantizar equidad entre idiomas con diferentes estructuras ortográficas y morfológicas, se aplica un factor de ajuste (Byte Premium) basado en el tamaño de codificación UTF-8. Por ejemplo, 100MB de inglés equivalen a 105MB de neerlandés y 98.9MB de chino.

B. Fusión de Pistas Anteriores:
Las pistas Multimodal e Interacción han sido eliminadas como categorías independientes y se han integrado en las pistas STRICT y STRICT-SMALL.

• Esto permite a los participantes utilizar datos imagen-texto o feedback de un "modelo maestro" (external model) dentro de las reglas de datos estándar.
• Se permite el uso de un modelo externo para simular interacciones (ej. generador de datos sintéticos o recompensas para RL), pero con restricciones estrictas: el modelo externo no puede revelar sus pesos ni distribuciones de salida (prohibición de distillation directa) y los tokens generados por él cuentan hacia el límite de palabras del modelo participante.

C. Restricciones de Entrenamiento:

• Límite de Épocas: Se impone un límite de 10 épocas sobre los datos de entrenamiento para evitar la sobre-exposición repetitiva, lo cual es cognitivamente implausible para el aprendizaje infantil.
• Checkpointing Intermedio: Es obligatorio enviar checkpoints del modelo en intervalos específicos (cada 1M, 10M, 100M de palabras vistas) para analizar la dinámica de aprendizaje y la eficiencia, no solo el rendimiento final.
• Límite de Compute: No se limita el poder de cómputo (FLOPs), pero sí la cantidad de datos vistos, para democratizar la investigación y permitir que grupos con menos recursos compitan.

D. Datos y Evaluación:

• Dataset Desintoxicado: Se ha lanzado una nueva versión de los datasets (STRICT, STRICT-SMALL y Multimodal) tras análisis que revelaron la presencia de contenido tóxico y racista en versiones anteriores.
• Evaluación Multilingüe: Para la pista Multilingüe, la evaluación se realizará en inglés, neerlandés y chino mediante tareas de zero-shot y fine-tuning, evaluando competencia funcional y formal.
• Baselines: Se proporcionan líneas base adaptadas, incluyendo GPT-BERT, GPT-2 Small y una versión basada en optimización de preferencias (SimPO) para las pistas integradas.

3. Contribuciones Clave

1. Expansión Multilingüe: Introducción de la pista MULTILINGUAL, fomentando la investigación en adquisición de lenguaje en lenguas con scripts y tipologías diversas (inglés, neerlandés y chino).
2. Integración de Modalidades e Interacción: La fusión de las pistas multimodal e interacción en las pistas principales permite explorar la adquisición de lenguaje activa y multimodal sin fragmentar la competencia.
3. Dataset Seguro y Actualizado: Liberación de corpus de entrenamiento "desintoxicados" para permitir investigaciones éticas y sostenibles, especialmente en escenarios de interacción multi-turno.
4. Protocolos de Evaluación Dinámica: Énfasis en la evaluación de checkpoints intermedios para estudiar las trayectorias de aprendizaje (simulando el desarrollo infantil) en lugar de solo el rendimiento final.
5. Flexibilidad Metodológica: Permitir a los participantes optimizar la mezcla de datos (idiomas y dominios) y utilizar modelos externos bajo restricciones de conteo de tokens, fomentando la innovación en estrategias de entrenamiento eficientes.

4. Resultados Esperados y Estado Actual

Dado que este documento es una Llamada a Papeles (Call for Papers) para el taller de 2026, no presenta resultados experimentales de modelos entrenados. Sin embargo, establece las bases para:

• La generación de nuevos modelos de lenguaje pequeños (Small Language Models) que sean cognitivamente plausibles.
• La comparación de la eficiencia de aprendizaje entre idiomas tipológicamente distintos.
• La identificación de arquitecturas y técnicas de entrenamiento que maximicen el aprendizaje con menos de 100M de palabras.
• La creación de un repositorio de baselines y evaluaciones robustas para la comunidad.

5. Significado e Impacto

La edición 2026 de BabyLM representa un punto de inflexión en la investigación de modelos de lenguaje pequeños:

• Científico: Promueve la integración de la ciencia cognitiva en la ingeniería de IA, desafiando la noción de que "más datos y más cómputo" son siempre la solución óptima.
• Inclusividad: Al moverse más allá del inglés, el desafío aborda la brecha en el procesamiento del lenguaje natural para lenguas con menos recursos y fomenta la diversidad lingüística.
• Ético: La corrección de toxicidad en los datasets y la promoción de prácticas de datos inclusivas establecen un nuevo estándar para la investigación responsable en LM.
• Democratización: Al limitar el número de épocas y centrarse en la eficiencia de datos, el desafío permite que grupos de investigación con recursos limitados compitan en igualdad de condiciones con grandes laboratorios, enfocándose en la calidad de la arquitectura y la estrategia de datos en lugar del poder bruto de cómputo.

En resumen, BabyLM 2026 busca redefinir cómo se construyen y evalúan los modelos de lenguaje, priorizando la eficiencia, la diversidad lingüística y la plausibilidad cognitiva sobre la escala masiva.