💬 NLP

Children, but not language models, show accelerating returns in word learning

Este artigo revela que, enquanto as crianças exibem retornos acelerados na aprendizagem de palavras ao tornarem-se cada vez mais eficientes a cada nova unidade de experiência linguística, os modelos de linguagem — mesmo aqueles treinados em fala dirigida à criança — mostram apenas retornos proporcionais constantes consistentes com leis de escala.

Autores originais: Michael C. Frank

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Michael C. Frank

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A linguagem humana começa com um início lento e vacilante. No primeiro ano de vida, uma criança pode aprender apenas um punhado de palavras, muitas vezes apenas nomes para pessoas ou objetos familiares. Então, algo extraordinário acontece. O ritmo de aprendizado muda dramaticamente. Em poucos anos, essa mesma criança adquire centenas de palavras, passando de rótulos simples para frases complexas com uma velocidade que parece quase mágica. Por décadas, cientistas tentaram compreender a mecânica dessa explosão. Eles há muito suspeitavam que o segredo residia em como as crianças processam o fluxo de palavras que ouvem todos os dias. A ideia predominante era que o aprendizado é um processo linear e constante: quanto mais uma criança ouve, mais ela aprende, a uma taxa constante. Se isso fosse verdade, o vocabulário de uma criança cresceria como a água enchendo um balde com um gotejamento constante.

Nos últimos anos, poderosos programas de computador conhecidos como modelos de linguagem surgiram como uma nova forma de estudar esse processo. Esses sistemas são treinados em vastas quantidades de texto, aprendendo a prever a próxima palavra em uma frase. Como eles podem ser treinados com quantidades específicas de dados, os pesquisadores podem usá-los para testar teorias sobre como o aprendizado funciona. No entanto, uma lacuna intrigante apareceu. Para atingir até mesmo um nível básico de habilidade linguística, esses modelos de computador requerem trilhões de palavras de dados de treinamento. Em contraste, uma criança humana aprende suas primeiras milhares de palavras após ouvir apenas alguns milhões. Essa diferença massiva nos requisitos de dados sugere que crianças e máquinas aprendem de maneiras fundamentalmente diferentes, mas até agora, ninguém tinha uma descrição matemática clara de exatamente como essa diferença se desenrola ao longo do tempo.

Um pesquisador propôs-se a medir essa diferença diretamente. Ele focou no crescimento do vocabulário, rastreando como as crianças aprendem palavras específicas ao longo do tempo e comparando esse padrão com a forma como os modelos de computador aprendem as mesmas palavras. O pesquisador reuniu dados de milhares de crianças, utilizando registros detalhados onde os pais relatavam quais palavras seus filhos conseguiam dizer em diferentes idades. Eles também treinaram modelos de computador com gravações de fala direcionada especificamente às crianças, garantindo que o computador recebesse o mesmo tipo de entrada que uma criança pequena ouviria. Ao analisar esses dois grupos lado a lado, o pesquisador descobriu que a visão padrão do aprendizado como uma acumulação constante estava incorreta para os seres humanos.

O estudo revelou que as crianças não aprendem a uma taxa constante. Em vez disso, sua capacidade de aprender acelera. No início, uma criança pode precisar ouvir uma palavra centenas de vezes antes de dizê-la. Mas, à medida que crescem e seu vocabulário se expande, elas precisam de muito menos exposições para aprender uma nova palavra. Uma criança pequena pode ouvir a palavra "livro" milhares de vezes antes de pronunciá-la, mas um pré-escolar pode ouvir a palavra "íbex" apenas algumas vezes em um zoológico e repeti-la no dia seguinte. O pesquisador descobriu que essa aceleração é um fenômeno real e mensurável. À medida que as crianças ficam mais velhas, cada nova peça de experiência linguística torna-se mais valiosa. Elas aprendem mais com cada hora adicional de conversa do que aprenderam na hora anterior. Os modelos de computador, mesmo aqueles treinados em fala direcionada à criança, não mostraram tal aceleração. Eles aprendiam em um ritmo constante e imutável, exigindo a mesma quantidade de dados para aprender uma nova palavra, independentemente de quanto já sabiam.

Essa diferença explica por que as crianças conseguem se tornar falantes fluentes com tão poucos dados em comparação às máquinas. Os modelos de computador operam sob um princípio de retornos constantes: cada nova palavra que aprendem custa a mesma quantidade de dados de treinamento. As crianças, no entanto, obtêm retornos crescentes sobre seu investimento. O pesquisador testou se essa aceleração era simplesmente o resultado de os pais mudarem a forma como falam com seus filhos conforme eles crescem, ou se era uma mudança interna na capacidade de aprendizado da criança. Os dados sugeriram que era a segunda opção. Os cérebros das crianças pareciam estar ficando melhores em extrair significado dos sons que ouviam, talvez porque estivessem aprendendo a usar as palavras que já conheciam para compreender as novas.

As descobertas desafiam a ideia de que o aprendizado de uma língua é apenas uma questão de acumular evidências ao longo do tempo. Em vez disso, o processo é dinâmico. O pesquisador mostrou que um modelo onde o "valor" de cada nova palavra aumenta com a idade se ajusta perfeitamente aos dados do mundo real das crianças, enquanto um modelo onde o valor permanece o mesmo não se ajusta. Essa aceleração não é apenas um pequeno detalhe; é uma diferença fundamental entre o aprendizado humano e o de máquina. Embora os modelos de computador eventualmente tenham aprendido as palavras, fizeram-no com uma rigidez que as crianças humanas não possuem. O estudo sugere que o segredo da linguagem humana não está apenas na quantidade de dados que recebemos, mas em como nossa capacidade de usar esses dados melhora conforme crescemos. Esse insight oferece uma nova direção para a compreensão da cognição humana e para a construção de sistemas artificiais que possam, um dia, aprender com a mesma eficiência de uma criança.

Resumo Técnico: Crianças, mas não modelos de linguagem, apresentam retornos acelerados na aprendizagem de palavras

Problema
Crianças adquirem vocabulário rapidamente durante a primeira infância, exibindo um "surto de vocabulário" onde a aprendizagem acelera ao longo do tempo. Em contraste, grandes modelos de linguagem (LMs), mesmo quando treinados em fala dirigida à criança, requerem ordens de magnitude mais dados para alcançar competência linguística básica. Embora modelos anteriores descrevam o crescimento do vocabulário como um processo de acumulação de evidências, permanece incerto se o mecanismo subjacente envolve retornos constantes (acumulação linear) ou retornos acelerados (onde cada unidade de experiência rende mais aprendizagem do que a anterior). Este estudo investiga a "lacuna de dados" entre crianças e LMs, caracterizando quantitativamente a aprendizagem de palavras como uma função dos dados de treinamento em ambos os sistemas.

Metodologia
O autor desenvolveu um modelo psicométrico de "acumulador acelerador" para descrever o crescimento do vocabulário em crianças e o comparou com as trajetórias de aprendizagem de modelos de linguagem.

Modelagem Infantil: O estudo utilizou dados longitudinais de nível de item dos Inventários de Desenvolvimento Comunicativo (CDIs) MacArthur-Bates em cinco conjuntos de dados (Inglês Americano, Norueguês e Japonês; $N_{total} = 1841$ crianças, idades de 8 a 36 meses). O autor formulou um modelo baseado em Rasch onde a habilidade latente de uma criança $\theta_i(t)$ no tempo $t$ é definida como:
$\theta_i(t) = \xi_i + \kappa_i \log(t/a_0) + \log(H)$
Aqui, $\xi_i$ representa a eficiência basal de aprendizagem, e $\kappa_i$ é o expoente de aceleração. Se $\kappa = 1$ , o modelo representa um "acumulador puro" com retornos lineares; se $\kappa > 1$ , representa um acumulador acelerado onde as experiências posteriores contam mais. O autor utilizou inferência Bayesiana (Stan) para ajustar este modelo (M3) contra versões abladas (M0–M2) que carecem de variação individual em eficiência ou aceleração.
Análise de Modelos de Linguagem: Para comparar com crianças, o autor treinou modelos GPT-2-small em 24 milhões de palavras de fala dirigida à criança (arquivo CHILDES). Eles estimaram curvas de aprendizagem de palavras ajustando funções sigmoides à trajetória da surpresa (logaritmo negativo da probabilidade) para palavras individuais através de checkpoints de treinamento. A inclinação dessas sigmoides em uma escala logarítmica de experiência foi tratada como o equivalente de $\kappa$ do LM.
Métricas: O estudo comparou a distribuição dos expoentes de aceleração ( $\kappa$ ) e calculou "retornos proporcionais" (a razão entre a redução de perda e a perda excedente restante) para ambas as crianças e LMs.

Principais Resultados

Acumulação Acelerada em Crianças: O modelo de acumulador acelerado (M3) forneceu o melhor ajuste às trajetórias de crescimento das crianças em todos os cinco conjuntos de dados, superando significativamente modelos sem aceleração individual (melhorias de LOO ELPD > 760). O expoente de aceleração populacional estimado $\kappa$ foi robustamente maior que 1, variando aproximadamente de 10,6 a 13,3 entre os conjuntos de dados. Isso indica que a eficiência de aprendizagem das crianças aumenta dramaticamente com a idade; o número de exposições necessárias para aprender uma palavra diminui exponencialmente conforme as crianças se desenvolvem.
Retornos Constantes em Modelos de Linguagem: Em forte contraste, os modelos de linguagem não mostraram evidência de aceleração. As estimativas de $\kappa$ por palavra para LMs agruparam-se estritamente em torno de 1,0 (o valor do acumulador puro), independentemente de os modelos terem sido treinados em fala dirigida à criança ou em corpora padrão.
Retornos Proporcionais: A análise de retornos proporcionais em novos dados revelou que as crianças exibem retornos crescentes (a mesma experiência rende mais aprendizagem mais tarde no desenvolvimento), enquanto os LMs mostram retornos proporcionais constantes consistentes com as leis de escala padrão ( $L = E + B/D^\beta$ ).
Eficiência de Dados: O estudo destaca que as crianças aprendem centenas de palavras com aproximadamente 30–40 milhões de palavras de entrada até os três anos de idade, enquanto os LMs tipicamente requerem trilhões de palavras. A natureza acelerada da aprendizagem das crianças é proposta como uma candidata explicação para essa enorme lacuna de eficiência de dados.

Significância e Alegações
O artigo alega identificar uma desanalogia fundamental entre aprendizes humanos e modelos de linguagem atuais: crianças aprendem usando um mecanismo acelerado onde o valor do input linguístico aumenta com o tempo, enquanto LMs aprendem com retornos proporcionais constantes.

Mecanismo: O autor sugere que a aceleração das crianças pode advir de mudanças no desenvolvimento da velocidade de processamento, memória e na capacidade de "aprender a aprender" (usar o conhecimento existente para inferir novos significados de forma mais eficiente).
Limitações: O autor afirma explicitamente que sua evidência baseia-se em ajuste de modelo estatístico e comparação, em vez de manipulação causal. Ele reconhece que o modelo depende de dados de autorrelato parental (CDIs) e que o parâmetro de "aceleração" é uma descrição estatística da curva de crescimento, e não um relato plenamente mecanístico dos processos cognitivos envolvidos.
Direções Futuras: O artigo postula que compreender as condições sob as quais retornos acelerados podem surgir em sistemas artificiais é um objetivo crítico para pesquisas futuras. Sugere que o pré-treinamento padrão pode não fornecer um análogo às crescentes capacidades de inferência das crianças e que vincular hipóteses entre crianças e LMs requer maior desenvolvimento.

O estudo conclui que caracterizar a natureza dos retornos acelerados das crianças e determinar como replicar essa eficiência em sistemas artificiais deve ser um foco primário para investigações futuras em ciência cognitiva e aprendizado de máquina.

Mais como este