BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

O artigo apresenta o BERT, um novo modelo de representação linguística baseado em Transformers bidirecionais pré-treinados em texto não rotulado, que pode ser ajustado para diversas tarefas de processamento de linguagem natural com apenas uma camada adicional, alcançando resultados state-of-the-art em onze benchmarks.

O essencial

Imagine que você quer ensinar um robô a entender a linguagem humana, não apenas como um dicionário, mas como um ser humano que entende contexto, ironia e nuances. É exatamente isso que o BERT faz.

O artigo que você leu apresenta o BERT (sigla para Bidirectional Encoder Representations from Transformers), uma inteligência artificial criada pelo Google que revolucionou a forma como as máquinas entendem texto.

Para explicar isso de forma simples, vamos usar algumas analogias do dia a dia:

1. O Problema: Ler de um lado só

Antes do BERT, a maioria dos modelos de linguagem funcionava como alguém lendo um livro apenas da esquerda para a direita, palavra por palavra.

• A analogia: Imagine que você está lendo uma frase: "O banco estava cheio...".
  • Se você lê da esquerda para a direita, quando chega na palavra "banco", você ainda não sabe se é um banco para sentar ou um banco de dinheiro. Você só saberá isso quando ler as palavras seguintes.
  • Modelos antigos (como o GPT da OpenAI) eram como essa pessoa: eles tinham que adivinhar o significado baseado apenas no que já leram. Se a frase fosse "O banco estava cheio de pessoas", eles só entendiam o contexto no final.

2. A Solução do BERT: Ler de ambos os lados

O BERT é diferente. Ele é bidirecional.

• A analogia: O BERT é como um leitor que pode olhar para a frase inteira de uma vez só, ou como alguém que lê a frase, depois lê a frase ao contrário, e depois lê de novo, misturando tudo.
  • Quando o BERT vê a palavra "banco", ele olha para o que vem antes ("O") e para o que vem depois ("cheio de pessoas") ao mesmo tempo. Assim, ele entende instantaneamente que é um banco de praça, não um banco financeiro.
  • Isso é possível porque ele foi treinado de uma forma especial, não apenas lendo, mas "adivinhando" palavras.

3. Como o BERT foi treinado? (O Jogo do "Preencha a Lacuna")

Para aprender a entender o contexto de ambos os lados, os criadores do BERT usaram dois truques de treinamento (chamados de pre-treinamento):

Truque 1: O Jogo do "Preencha a Lacuna" (Masked LM)

Imagine que você pega um texto e esconde aleatoriamente 15% das palavras, trocando-as por um adesivo escrito [MASK] (Máscara).

• Exemplo: "O [MASK] está correndo no parque."
• O BERT tem que adivinhar qual palavra está escondida (provavelmente "cachorro" ou "menino").
• O segredo: Para adivinhar, ele é obrigado a olhar para a esquerda ("O") e para a direita ("está correndo no parque") simultaneamente. É como um jogo de "Stop" ou "Forca" em escala gigante, feito com bilhões de frases da Wikipedia e de livros. Isso ensina o BERT a entender o contexto profundo.

Truque 2: O Jogo do "Próxima Frase Faz Sentido?" (Next Sentence Prediction)

Às vezes, entender uma frase não é suficiente; você precisa entender a relação entre duas frases.

• Exemplo:
  • Frase A: "O homem foi à loja."
  • Frase B: "Ele comprou leite." (Isso faz sentido? Sim!)
  • Frase B (falsa): "O pinguim voa." (Isso faz sentido? Não!)
• O BERT aprende a dizer se a Frase B é a continuação lógica da Frase A. Isso é crucial para tarefas como responder perguntas ou entender se duas frases se contradizem.

4. Como usamos o BERT depois? (O "Afinamento")

Depois que o BERT aprendeu tudo isso (o que levou dias de treinamento em supercomputadores), ele se torna um "genialista" da linguagem. Mas como usá-lo para tarefas específicas, como responder perguntas de um teste ou detectar se um e-mail é spam?

• A analogia: Pense no BERT como um estudante universitário que já leu toda a biblioteca e sabe tudo sobre o mundo.
  • Se você quer que ele faça um teste de matemática, você não precisa ensiná-lo matemática do zero. Você apenas ajusta (fine-tune) a maneira como ele aplica esse conhecimento.
  • É como pegar esse estudante genial e dizer: "Agora, foque apenas nas perguntas de história". Você adiciona uma pequena camada de "filtro" no final do cérebro dele e o treina por algumas horas.
  • O resultado? Ele se torna o melhor do mundo em tarefas específicas, sem precisar de uma arquitetura complexa nova para cada tarefa.

5. Por que isso é tão importante?

O BERT quebrou recordes em quase todas as tarefas de linguagem que existem:

• Resposta a perguntas: Ele entende o texto e acha a resposta exata (como no SQuAD).
• Tradução e Resumo: Entende o contexto melhor que os antigos.
• Análise de Sentimento: Sabe se um comentário é sarcástico ou sério.

Resumo da Ópera:
O BERT é como um tradutor ou um leitor que parou de ler palavra por palavra e começou a "sentir" a frase inteira. Ao usar o truque de esconder palavras e adivinhar o contexto, ele aprendeu a linguagem de forma profunda. Depois, basta um pequeno ajuste para transformá-lo no especialista que você precisa, seja para um chatbot, um corretor ortográfico ou um sistema de busca.

É a diferença entre um robô que apenas "lê" e um robô que "entende".

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" em português:

1. O Problema

Antes do BERT, os modelos de linguagem pré-treinados (como ELMo e OpenAI GPT) enfrentavam limitações significativas:

• Unidirecionalidade: Modelos como o GPT usavam arquiteturas de esquerda para direita (ou direita para esquerda), o que impedia o modelo de ver o contexto completo (esquerdo e direito) simultaneamente durante o pré-treinamento. Isso era subótimo para tarefas de nível de token (como Resposta a Perguntas) e limitava a capacidade de capturar dependências bidirecionais profundas.
• Arquiteturas Específicas de Tarefa: A maioria das abordagens exigia modificações arquitetônicas significativas e engenharia complexa para adaptar o modelo pré-treinado a tarefas específicas de baixo nível (downstream).
• Representações Superficiais: Abordagens como o ELMo concatenavam representações de modelos unidirecionais independentes, o que não era tão poderoso quanto um modelo verdadeiramente bidirecional profundo.

2. Metodologia

O BERT (Bidirectional Encoder Representations from Transformers) propõe uma nova abordagem baseada em duas etapas principais: Pré-treinamento e Ajuste Fino (Fine-tuning).

Arquitetura

• Baseia-se no Transformer (Vaswani et al., 2017), especificamente no codificador (encoder).
• Utiliza auto-atenção bidirecional, permitindo que cada token atenda a todos os outros tokens na sequência (esquerda e direita) em todas as camadas.
• Existem dois tamanhos principais de modelo:
  • BERTBASE: 12 camadas, 768 dimensões ocultas, 12 cabeças de atenção (110M parâmetros).
  • BERTLARGE: 24 camadas, 1024 dimensões ocultas, 16 cabeças de atenção (340M parâmetros).

Pré-treinamento (Unsupervised)

O modelo é treinado em grandes corpora de texto não rotulado (Wikipedia + BooksCorpus, totalizando ~3,3 bilhões de palavras) usando duas tarefas de objetivo:

1. Modelo de Linguagem Mascaramento (Masked LM - MLM):

   • Inspirado na tarefa "Cloze", 15% dos tokens de entrada são aleatoriamente mascarados.
   • O objetivo é prever o token original baseado apenas no contexto (esquerdo e direito).
   • Estratégia de Mascaramento: Para evitar a discrepância entre pré-treinamento e ajuste fino (já que o token [MASK] não aparece na inferência), o sistema usa:
     • 80% das vezes: Substitui o token por [MASK].
     • 10% das vezes: Substitui por um token aleatório.
     • 10% das vezes: Mantém o token original inalterado.
   • Isso força o modelo a aprender representações contextuais robustas.

2. Previsão da Próxima Sentença (Next Sentence Prediction - NSP):

   • Tarefa binária para entender a relação entre duas sentenças.
   • O modelo recebe pares de sentenças (A, B). Em 50% dos casos, B é a sentença real que segue A; nos outros 50%, B é uma sentença aleatória do corpus.
   • O objetivo é classificar se B segue A. Isso é crucial para tarefas como Inferência de Linguagem Natural (NLI) e Resposta a Perguntas (QA).

Ajuste Fino (Fine-tuning)

• Diferente de abordagens baseadas em features (que extraem vetores fixos), o BERT utiliza uma abordagem de ajuste fino.
• Todos os parâmetros do modelo pré-treinado são ajustados para a tarefa específica, adicionando apenas uma camada de saída simples (ex: uma camada de classificação linear).
• A arquitetura de entrada é unificada: pares de sentenças são concatenados com tokens especiais [CLS] (para classificação global) e [SEP] (separador).

3. Principais Contribuições

1. Pré-treinamento Bidirecional Profundo: Demonstra que a capacidade de condicionar representações em ambos os contextos (esquerda e direita) simultaneamente em todas as camadas é superior a modelos unidirecionais ou concatenações superficiais.
2. Arquitetura Unificada: O BERT elimina a necessidade de arquiteturas complexas e específicas para cada tarefa. Uma única arquitetura pré-treinada pode ser adaptada a uma vasta gama de tarefas (classificação, extração de span, NLI, etc.) com apenas uma camada adicional.
3. Desempenho State-of-the-Art (SOTA): O modelo alcançou os melhores resultados em 11 tarefas de Processamento de Linguagem Natural (NLP) simultaneamente, superando modelos anteriores em margens significativas.

4. Resultados

O BERT estabeleceu novos recordes em diversas benchmarks:

• GLUE Benchmark: Atingiu uma pontuação média de 80.5% (com o BERTLARGE), uma melhoria absoluta de 7.7 pontos sobre o estado da arte anterior (OpenAI GPT).
• MultiNLI (Inferência de Linguagem): Acurácia de 86.7% (melhoria de 4.6 pontos).
• SQuAD v1.1 (Resposta a Perguntas): F1 de 93.2 (melhoria de 1.5 pontos).
• SQuAD v2.0 (Perguntas sem resposta): F1 de 83.1 (melhoria de 5.1 pontos).
• SWAG (Inferência de Senso Comum): Acurácia de 86.3%, superando a linha de base em mais de 27 pontos.

Estudos de ablação mostraram que tanto a bidirecionalidade (MLM) quanto a tarefa de previsão da próxima sentença (NSP) são essenciais para o desempenho, especialmente em tarefas que exigem compreensão de relações entre sentenças. Além disso, o aumento do tamanho do modelo (de BASE para LARGE) resultou em melhorias consistentes, mesmo em tarefas com poucos dados de treinamento.

5. Significância

O BERT representa um marco fundamental no NLP por:

• Democratizar o Pré-treinamento: Tornou acessível o uso de modelos profundos e bidirecionais para uma vasta gama de tarefas, reduzindo a barreira de entrada para arquiteturas complexas.
• Validação da Escala: Demonstrou que escalar modelos pré-treinados para tamanhos extremos (340M parâmetros) traz benefícios significativos, mesmo para tarefas de pequena escala, desde que o pré-treinamento seja robusto.
• Paradigma de Transferência: Consolidou o paradigma de "Pré-treinar em grandes corpora não rotulados -> Ajustar fino em tarefas específicas" como o padrão ouro para sistemas de compreensão de linguagem, influenciando diretamente o desenvolvimento de modelos subsequentes (como GPT-3, RoBERTa, T5, etc.).
• Simplicidade Conceitual: A ideia de que uma única arquitetura pode resolver tarefas de nível de sentença e de nível de token sem modificações estruturais profundas simplificou drasticamente o pipeline de desenvolvimento de modelos de NLP.