Measuring Form and Function in Language Models

Resumo Técnico: Medindo Forma e Função em Modelos de Linguagem

Declaração do Problema
As avaliações atuais de Modelos de Linguagem de Grande Porte (LLMs) dependem predominantemente de tarefas de classificação (por exemplo, julgamentos de gramaticalidade em pares mínimos), que frequentemente falham em capturar os aspectos funcionais e de nível discursivo do conhecimento linguístico. Além disso, esses benchmarks baseados em classificação carecem de uma verdade fundamental rigorosa ao comparar LLMs com a aquisição de linguagem em crianças, pois crianças pequenas não podem fornecer julgamentos metalinguísticos confiáveis. Embora a iniciativa "BabyLM" busque construir modelos eficientes em dados comparáveis às crianças, existe uma lacuna metodológica sobre como comparar rigorosamente o comportamento externo dos LLMs com os dados de produção naturalística das crianças. Especificamente, permanece incerto se os LLMs possuem um sistema gramatical produtivo ou meramente memorizam fragmentos de entrada, e se eles utilizam a linguagem para funções comunicativas apropriadas além da bem-formação de sentenças.

Metodologia
Os autores propõem um framework que adapta métricas quantitativas da pesquisa sobre linguagem infantil para avaliar LLMs, focando em determinantes do inglês (the vs. a/an), um domínio adquirido cedo e com precisão pelas crianças. A metodologia consiste em três componentes principais:

1. Solicitação de Escolha de Alternativa Contextual (CAC):
   Em vez de pedir aos modelos que classifiquem sentenças, os autores utilizam um esquema de solicitação derivado da tarefa psicolinguística de "cloze". Para cada local determinante-substantivo (D×N) na fala de uma criança no Corpus de Manchester, o modelo recebe o contexto discursivo completo precedente e é solicitado a prever o determinante. Isso elicita uma distribuição probabilística sobre as escolhas (the vs. a) em vez de um único rótulo binário, permitindo a análise das expectativas internas do modelo em contextos idênticos aos utilizados pelas crianças.

2. Benchmark de Produtividade Formal (Teste de Sobreposição):
   Para distinguir entre produtividade gramatical genuína e memorização mecânica, o artigo emprega um teste estatístico baseado em Yang (2013). Este teste calcula a "sobreposição" esperada (a proporção de tipos de substantivos que aparecem com ambos the e a) para um corpus de um tamanho dado ($S$) e vocabulário ($N$), assumindo uma gramática produtiva onde os determinantes se combinam independentemente com os substantivos. O teste incorpora a Lei de Zipf para frequências de substantivos e um "viés" agregado ($b$) que reflete a tendência de substantivos específicos de favorecer um determinante. Se a sobreposição empírica de um modelo não diferir significativamente da sobreposição esperada derivada dessas propriedades estatísticas, considera-se que ele exibe produtividade formal.

3. Benchmark Funcional Discursivo (Probabilidade Transicional de Referência - TPR):
   Para avaliar o conhecimento funcional, os autores medem a TPR, definida como a probabilidade de um falante alterar o determinante quando o substantivo tópico permanece constante entre turnos conversacionais. Esta métrica captura o uso apropriado de definitude e especificidade no discurso. A TPR do modelo é calculada comparando suas escolhas probabilísticas de determinante com a fala precedente do cuidador no diálogo. Isso é comparado a uma linha de base estabelecida a partir de conversas entre adultos e à TPR empírica das crianças.

Principais Contribuições

• Inovação Metodológica: A introdução da solicitação CAC permite a comparação direta de LLMs e crianças usando dados de produção naturalística, contornando a necessidade de julgamentos metalinguísticos não confiáveis de crianças.
• Avaliação de Duplo Benchmark: O artigo estabelece dois benchmarks independentes — produtividade formal (sintaxe) e adequação funcional discursiva (pragmática) — que não exigem acesso aos dados de treinamento do modelo, tornando-os aplicáveis a qualquer amostra de linguagem.
• Análise Empírica: O estudo avalia 45 modelos de linguagem (incluindo bases, vencedores e modelos de referência do BabyLM) nesses benchmarks, fornecendo uma visão granular do desempenho do modelo em relação a crianças de 2 a 3 anos.

Resultados
A avaliação revela uma dissociação significativa entre diferentes facetas da competência linguística em LLMs:

• Produtividade Formal: Muitos modelos, incluindo aqueles treinados com quantidades de dados comparáveis às disponíveis para crianças de 2 a 3 anos (aproximadamente 10–20 milhões de palavras), passam no teste de sobreposição formal. Isso sugere que eles aprenderam a combinar determinantes e substantivos de forma produtiva, em vez de simplesmente memorizar colocações.
• Função Discursiva: Nenhum dos modelos treinados com dados comparáveis aos de crianças pequenas passa no teste de TPR. Seus valores de TPR são significativamente mais altos que as linhas de base humanas, indicando que escolhem determinantes estocasticamente, sem considerar restrições referenciais ou contexto discursivo.
• Modelos Grandes: Apenas dois modelos treinados em conjuntos de dados significativamente maiores (100M e 30B de palavras) passaram em ambos os benchmarks. Um modelo treinado em 156B de palavras passou no teste de TPR, mas falhou no teste de sobreposição.
• Precisão vs. Competência: Vários modelos alcançaram alta precisão nas escolhas de determinante de máxima verossimilhança (MLE) (correspondendo às crianças em ~89% das vezes), mas falharam nos testes de TPR e sobreposição. Isso confirma que alta precisão de classificação não equivale a competência linguística semelhante à de adultos ou gramática produtiva.

Significado e Alegações
O artigo argumenta que os LLMs atuais treinados com dados plausíveis do desenvolvimento ainda não exibem o espectro completo de conhecimento linguístico demonstrado por crianças humanas aos 2-3 anos de idade. Especificamente, embora os modelos possam aprender produtividade sintática formal, eles lutam com as restrições funcionais e de nível discursivo do uso da linguagem. Os autores alegam que a otimização para um aspecto da competência (por exemplo, precisão de previsão ou sintaxe formal) não garante a aquisição de outros (por exemplo, função discursiva).

O trabalho serve como uma contribuição metodológica, demonstrando que a pesquisa sobre linguagem infantil fornece frameworks necessários para avaliar LLMs como modelos cognitivos. Os autores sugerem que marcos de aquisição precoce, como o uso de determinantes, servem como pontos de verificação críticos para o campo, destacando que os LLMs podem exigir trajetórias de aprendizado ou eficiências de dados diferentes para modelar verdadeiramente a aquisição da linguagem humana. O artigo conclui com modéstia, observando que, embora alguns modelos muito grandes atendam aos benchmarks, as causas do sucesso ou fracasso permanecem obscuras, e são necessárias investigações adicionais sobre como o ajuste de instruções e o aprendizado por reforço a partir de feedback humano (RLHF) podem interagir com esses critérios linguísticos específicos.