BabyLM Turns 4 and Goes Multilingual: Call for Papers for the 2026 BabyLM Workshop

Título: BabyLM 2026: Chamada para Trabalhos e Detalhes do Desafio Multilíngue

1. Problema e Motivação

O objetivo central do projeto BabyLM é investigar como sistemas computacionais podem aprender linguagem a partir de entradas limitadas, simulando a aquisição de linguagem humana na infância. O desafio busca preencher a lacuna entre a ciência cognitiva (que estuda como as crianças aprendem) e a ciência da computação (que constrói modelos de linguagem eficientes).

O problema específico abordado nesta edição (2026) é a expansão dos modelos de linguagem de pequena escala para além do inglês, abordando a diversidade tipológica e a aquisição multilíngue. Além disso, o workshop visa democratizar a pesquisa de pré-treinamento, limitando a exposição de dados para garantir que modelos eficientes não dependam apenas de recursos computacionais massivos, mas sim de arquiteturas e estratégias de dados inovadoras.

2. Metodologia e Estrutura do Desafio

O evento consiste em um Workshop (para artigos de pesquisa) e um Desafio (Challenge) com três trilhas competitivas.

Trilhas do Desafio:

1. STRICT: Treinamento em até 100 milhões de palavras.
2. STRICT-SMALL: Treinamento em até 10 milhões de palavras.
3. MULTILINGUAL (Nova Trilha): Treinamento em uma mistura de dados multilíngues (Inglês, Holandês e Chinês) totalizando até 100 milhões de tokens.
   • Ajuste de Dados: O volume de dados é calculado usando o "Byte Premium" para normalizar diferenças ortográficas e morfológicas entre as línguas (ex: 100MB de inglês equivalem a 105MB de holandês e 98,9MB de chinês).

Regras de Treinamento e Restrições:

• Limite de Épocas: Os modelos não podem passar mais de 10 épocas sobre os dados de treinamento. Isso visa simular a exposição humana (crianças não revisam o mesmo texto centenas de vezes) e garantir equidade computacional.
• Checkpoints Intermediários: É obrigatório submeter checkpoints do modelo em intervalos específicos (a cada 1M de palavras até 10M, a cada 10M até 100M, etc.) para analisar a dinâmica de aprendizado e eficiência.
• Integração de Trilhas Multimodais e de Interação: As trilhas anteriores de "Multimodal" e "Interação" foram fundidas nas trilhas STRICT e STRICT-SMALL.
  • Participantes podem agora usar dados imagem-texto ou feedback de um "modelo externo" (professor) durante o treinamento.
  • Restrição: O modelo externo não pode revelar seus pesos ou distribuições de saída (proibindo distillation direta). Se o modelo externo gera dados sintéticos ou recompensas para RL, esses tokens contam para o limite de palavras do modelo participante.
• Dataset: Foi lançado um novo conjunto de dados desintoxicado (detoxified) para evitar gerações tóxicas e discurso de ódio, um problema identificado em edições anteriores. O dataset inclui corpora como CHILDES, Wikipedia em Inglês Simples, legendas de filmes e narrativas localizadas.

Avaliação:

• Utiliza uma pipeline de código aberto baseada em tarefas de zero-shot e fine-tuning.
• Para a trilha Multilíngue, a avaliação foca em competência linguística funcional e formal nas três línguas-alvo.
• Inclui tarefas ocultas ("hidden tasks") lançadas pouco antes do prazo para testar a generalização.

3. Principais Contribuições

• Expansão Multilíngue: Introdução da trilha MULTILINGUAL, focada em Inglês, Holandês e Chinês, permitindo investigar transferência cruzada entre línguas tipologicamente similares (Holandês-Inglês) e distantes (Chinês-Inglês/Holandês).
• Dataset Desintoxicado: Publicação de uma versão corrigida e segura dos dados de treinamento, essencial para a sustentabilidade de gerações em conversas multi-turno entre modelos.
• Unificação de Modalidades: A fusão das trilhas de interação e multimodalidade nas trilhas principais permite que modelos de linguagem padrão explorem dados não textuais e feedback de agentes externos sem criar categorias separadas de submissão.
• Recursos de Linha de Base (Baselines): Lançamento de modelos base adaptados, incluindo versões multilíngues do GPT-BERT e GPT-2 Small, além de uma linha de base baseada em SimPO (otimização de preferência) para as trilhas de interação.
• Dataset BABYBABELLM: Uso de dados "cognitivamente plausíveis" de 45 línguas como base para a trilha multilíngue.

4. Resultados Esperados e Cronograma

Como se trata de uma "Call for Papers" (Chamada para Trabalhos) e um anúncio de desafio, não há resultados de modelos treinados apresentados neste documento. O foco é estabelecer as regras e o cronograma para a edição de 2026:

• Fevereiro 2026: Lançamento do Call for Papers e dados de treinamento.
• Maio 2026: Prazo para submissão via ACL Rolling Review (ARR).
• Outubro 2026: Realização do Workshop na EMNLP em Budapeste.

Os resultados serão gerados pelos participantes que treinarem modelos sob as restrições de dados e épocas, sendo avaliados na pipeline de leaderboard do HuggingFace.

5. Significado e Impacto

Este trabalho é significativo por vários motivos:

1. Validação Cognitiva: Ao limitar estritamente a quantidade de dados e épocas, o BabyLM força a comunidade a desenvolver modelos que aprendem de forma mais eficiente, aproximando-se da capacidade de aprendizado das crianças humanas.
2. Inclusão Linguística: A mudança de um foco exclusivo em inglês para um cenário multilíngue (com línguas de diferentes scripts e estruturas) é um passo crucial para a equidade em IA, permitindo estudar como a diversidade tipológica afeta a aprendibilidade.
3. Reprodutibilidade e Democratização: As restrições de computação (limites de épocas e dados) garantem que pesquisadores de instituições com menos recursos possam competir e contribuir com ideias inovadoras, evitando que o progresso seja ditado apenas pelo poder de processamento.
4. Segurança: A correção proativa dos dados de treinamento para remover toxicidade demonstra uma maturidade na comunidade de IA, reconhecendo que modelos de linguagem, mesmo pequenos, devem ser seguros para interação.

Em resumo, o BabyLM 2026 representa uma evolução madura na pesquisa de modelos de linguagem de pequena escala, integrando rigorosamente a ciência cognitiva, a diversidade linguística e a ética na construção de sistemas de IA.