Modelling Language using Large Language Models

Este artigo defende que os grandes modelos de linguagem (LLMs) devem ser considerados modelos científicos válidos das línguas públicas como entidades sociais externas, argumentando que a compreensão de seu funcionamento interno permite construí-los como representações linguísticas úteis, superando críticas que negam seu valor para a insight linguística.

O essencial

Imagine que você tem um gênio do conhecimento que leu quase tudo o que existe na internet. Ele não é um humano, é um computador chamado Modelo de Linguagem de Grande Escala (LLM), como o ChatGPT.

A pergunta que o autor deste artigo, Jumbly Grindrod, faz é: "Esse computador gigante pode nos ajudar a entender como funciona a linguagem humana?"

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Grande Debate: Cérebro vs. Livro de Regras

Existem dois grupos de pessoas discutindo isso:

• O Grupo "Cérebro": Acha que para entender a linguagem, precisamos estudar como o cérebro humano funciona. Eles dizem: "O computador não tem cérebro, então ele não sabe nada de verdade sobre linguagem."
• O Grupo "Livro de Regras" (O autor deste artigo): Acha que a linguagem é como uma cidade ou uma festa. Não é apenas o que está na cabeça de cada pessoa, mas sim o que todo mundo faz em conjunto. A linguagem é algo externo, social, que vive entre as pessoas.

A Analogia da Festa:
Imagine que a linguagem é uma grande festa onde todos falam.

• O "Grupo Cérebro" quer estudar como o cérebro de cada convidado funciona para que ele consiga falar.
• O autor diz: "Espera aí! Vamos estudar a festa em si. Como as pessoas se organizam? Quais são as regras não escritas que todo mundo segue para a conversa fluir?"

O autor argumenta que os computadores (LLMs) são ótimos para estudar a festa, não o cérebro individual.

2. O Computador não é um "Teórico", é um "Espelho"

Muitas pessoas acham que o computador deveria ser um "professor" que explica a gramática. O autor diz: Não!
O computador é mais como um espelho gigante ou um mapa.

• Teoria: É como um livro de receitas que explica por que o bolo cresce.
• Modelo (Espelho): É uma foto do bolo. A foto não explica a química do ovo, mas ela mostra perfeitamente como o bolo é, sua cor, textura e formato.

O autor diz que os LLMs são modelos científicos. Eles são espelhos que refletem a linguagem pública (o "E-language"). Eles não explicam como o cérebro pensa, mas mostram como a linguagem se comporta no mundo real.

3. O Problema do "Segredo" (A Caixa Preta)

Um dos maiores problemas é que esses computadores são "caixas pretas". Nós damos um texto e eles dão uma resposta, mas não sabemos exatamente como eles chegaram lá dentro. É como tentar entender como um relógio funciona olhando apenas para as ponteiros se movendo, sem poder abrir a tampa.

A Solução: O Detetive de Luz (XAI)
O autor diz que não precisamos abrir a caixa preta de uma vez só. Hoje, existem técnicas de "Inteligência Artificial Explicável" (como lanternas que iluminam partes da caixa).

• Cientistas estão descobrindo que, dentro do computador, certas partes "acendem" quando o computador vê uma estrutura de frase específica (como sujeito e verbo).
• É como se, ao observar o relógio, você percebesse que, sempre que a hora muda, uma engrenagem específica gira. Mesmo sem ver o interior, você sabe que aquela engrenagem é importante para a hora.

4. O Computador só "Decora" o que leu? (A Objeção do Livro de Memória)

Alguém pode dizer: "Ah, mas o computador só memorizou o que estava na internet. Ele é apenas um arquivo ZIP comprimido de dados."

A Analogia do Aluno vs. O Decoreba:

• Se você treina um aluno apenas para decorar um livro de história, ele vai falhar se você fizer uma pergunta sobre um evento que não estava no livro.
• Mas os LLMs são treinados para generalizar. Eles não apenas memorizam; eles aprendem os padrões.
• Imagine que você ensina uma criança a andar de bicicleta. Você não dá a ela um manual de todas as possíveis quedas. Você a deixa pedalar. Ela aprende o equilíbrio (a regra), não apenas a posição das rodas em um momento específico.
• Da mesma forma, o computador aprende as "regras invisíveis" da linguagem (como as palavras se conectam) para poder prever o que vem a seguir em textos que ele nunca viu antes. Se ele apenas decorasse, ele não conseguiria fazer isso.

Resumo Final: O Que Isso Significa?

O autor quer dizer que devemos parar de tentar usar o computador como um "psicólogo" (estudando o cérebro humano) e começar a usá-lo como um cartógrafo (estudando o território da linguagem).

• Antes: A linguística era como tentar entender a cidade olhando apenas para dentro de cada casa (o cérebro de cada pessoa).
• Agora: Com os LLMs, podemos olhar para a cidade inteira de cima, ver como as ruas se conectam, como o tráfego flui e quais são as regras de trânsito que todos seguem, mesmo que ninguém saiba explicar por escrito.

Conclusão Simples:
Os computadores não são "humanos digitais". Eles são ferramentas poderosas que nos permitem ver a linguagem como um fenômeno social e coletivo. Eles são mapas que, embora tenham sido feitos por máquinas, nos mostram o terreno da linguagem humana com uma precisão que nunca tivemos antes. E o melhor: estamos apenas começando a aprender a ler esses mapas!

Resumo técnico

Título: Modelagem de Linguagem usando Grandes Modelos de Linguagem (LLMs)

Autor: Jumbly Grindrod (Universidade de Reading)
Status: Aceito para publicação em Philosophical Studies.

---

1. O Problema

O artigo aborda uma divisão fundamental na linguística e na filosofia da linguagem sobre o papel dos Grandes Modelos de Linguagem (LLMs) na investigação científica.

• O Debate: Existe um conflito entre aqueles que argumentam que os LLMs podem informar a investigação linguística (visão positiva, comum em ciências computacionais) e aqueles que negam essa capacidade (visão negativa, comum em linguística gerativa e filosofia, como Chomsky e Dupré).
• A Crítica Principal: Os críticos argumentam que os LLMs não podem ser teorias linguísticas porque:
  1. Eles são treinados para prever a próxima palavra (performance), não para capturar a competência linguística interna (I-language).
  2. O treinamento é radicalmente diferente do aprendizado humano (dados massivos vs. "pobreza do estímulo").
  3. Eles não possuem uma Gramática Universal inata.
  4. Eles são apenas modelos de seus dados de treinamento (corpus), não da linguagem em si.
• A Lacuna: A maioria das defesas anteriores tenta posicionar os LLMs como teorias da cognição linguística. O autor argumenta que essa abordagem é um erro de categoria e que a objeção de que "LLMs não explicam nada" surge de uma definição restritiva do objeto de estudo da linguística.

2. Metodologia e Estrutura Argumentativa

O autor utiliza uma abordagem analítica da filosofia da ciência e da linguagem, combinando:

• Pluralismo Ontológico: Adota a visão de que a linguística deve estudar múltiplos objetos: I-language (mental/cognitivo), E-language (linguagem pública/social) e objetos abstratos. O foco do artigo é a E-language (a linguagem como entidade externa e social).
• Filosofia da Modelagem Científica: Utiliza o conceito de "construção de modelo" (model construal) de Michael Weisberg (2007). Diferencia entre:
  • Estratégia de Representação Direta Abstrata: Coleta de dados sobre o fenômeno alvo.
  • Estratégia de Modelagem: Construção de um objeto (modelo) que serve como proxy para o fenômeno alvo.
• Análise de Técnicas de IA: Examina o estado da arte em Linguística Computacional, incluindo Explainable AI (XAI), classificadores de sondagem (probing classifiers) e benchmarks de avaliação (como GLUE e SuperGLUE).

3. Contribuições Chave

A. Reenquadramento dos LLMs: De Teorias a Modelos de E-language

O autor argumenta que os LLMs não devem ser vistos como teorias da cognição humana (I-language), mas sim como modelos científicos de E-languages (linguagens públicas).

• Justificativa: As E-languages são conjuntos de convenções linguísticas adotadas por uma comunidade. Como os LLMs são treinados em grandes corpora de uso linguístico real, eles capturam estatisticamente essas convenções sociais, mesmo que não repliquem o processo cognitivo humano.
• Resposta às Críticas Cognitivas: As objeções baseadas na diferença entre competência e performance ou na falta de UG são irrelevantes se o objetivo for modelar a linguagem como um fenômeno social externo, e não como um órgão biológico interno.

B. A Estrutura do "Construal" (Interpretação) do Modelo

O artigo propõe que os LLMs podem ser usados cientificamente através do desenvolvimento de um construal (interpretação) que mapeia o modelo para o fenômeno alvo. O autor detalha quatro componentes necessários para esse construal:

1. Atribuição (Assignment): Mapear partes do LLM (ex: padrões de ativação em cabeças de atenção) para partes da E-language (ex: dependências sintáticas).
2. Escopo (Scope): Definir quais aspectos da linguagem são capturados (ex: convenções de uso, regras sintáticas) e quais são ignorados.
3. Critérios de Fidelidade Dinâmica: Quão próximo a saída do modelo está da saída do fenômeno real (ex: probabilidade de aceitação de frases).
4. Critérios de Fidelidade Representacional: Se a estrutura interna do modelo reflete a estrutura do fenômeno (ex: se as camadas internas do LLM organizam a sintaxe de forma similar à teoria linguística).

C. Redução da Incerteza de Ligação (Link Uncertainty)

O autor aborda a objeção da "opacidade" dos LLMs (caixa preta). Argumenta que, embora não possamos controlar diretamente os pesos internos, a opacidade não impede a explicação científica se houver:

• Evidência Empírica: Técnicas de XAI (como probing classifiers) já demonstraram que cabeças de atenção específicas em modelos como BERT capturam dependências sintáticas e relações semânticas.
• Benchmarks de Avaliação: O uso de tarefas de avaliação linguística (GLUE) durante o desenvolvimento do modelo atua como um mecanismo de controle indireto, forçando o modelo a internalizar regras linguísticas gerais em vez de apenas memorizar dados.

D. Refutação da Objeção do "Modelo de Corpus"

O autor refuta a ideia de que os LLMs são apenas "modelos de corpus" (memorização de dados de treinamento):

• Técnicas de Generalização: O uso de conjuntos de validação, weight decay e regularização impede o overfitting (memorização perfeita). O objetivo é generalizar padrões para prever dados não vistos.
• Corpus Final vs. Dados de Treino: O modelo aprende as regras subjacentes que geram o "corpus final" (todos os textos possíveis na língua), e não apenas o subconjunto de treino.

4. Resultados e Evidências Citadas

O artigo não apresenta novos dados experimentais, mas sintetiza resultados existentes da linguística computacional para apoiar sua tese:

• Manning et al. (2020): Mostraram que dependências sintáticas podem ser extraídas de embeddings contextualizados via transformações lineares.
• Shain et al. (2024) e Schrimpf et al. (2020): As probabilidades de próxima palavra e padrões de ativação interna de LLMs preveem com alta precisão a surpresa humana e respostas neurais a textos.
• Análise de Arquitetura: Estudos mostram que as camadas iniciais de modelos Transformer (como BERT) são sensíveis a características sintáticas, validando a possibilidade de uma atribuição no construal do modelo.

5. Significado e Implicações

• Nova Ramificação da Investigação Linguística: O artigo abre uma nova via de pesquisa onde os LLMs servem como ferramentas para estudar a linguagem como um fenômeno social e externo (E-language), complementando (e não substituindo) o estudo da cognição (I-language).
• Validação Filosófica da IA: Legitima o uso de LLMs na filosofia da linguagem e na linguística teórica, não como teorias cognitivas finais, mas como modelos científicos robustos que exigem interpretação (construal).
• Metodologia Iterativa: Propõe que a construção do construal é um projeto contínuo e iterativo. À medida que as técnicas de XAI avançam e as arquiteturas evoluem, nossa capacidade de mapear a estrutura interna do LLM para as convenções linguísticas tornará o modelo cada vez mais explicativo.
• Reconciliação de Campos: Oferece uma ponte entre a linguística computacional (que vê os LLMs como promissores) e a filosofia da linguagem (que exige rigor ontológico), sugerindo que o pluralismo é a chave para integrar essas visões.

Em suma, o artigo defende que os LLMs são modelos científicos valiosos para a linguagem pública, desde que sejam interpretados corretamente através de um construal rigoroso que utilize as ferramentas modernas de interpretabilidade de IA para reduzir a incerteza sobre como o modelo representa as convenções linguísticas.