BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Dit paper introduceert BERT, een nieuw taalmodel dat diepe bidirectionele representaties pre-traint op ongelabelde tekst en vervolgens met minimale aanpassingen state-of-the-art resultaten behaalt op diverse natuurlijke taalverwerkingstaken.

De kern

Stel je voor dat je een taal wilt leren. De oude manier was als het lezen van een boek, maar je mag alleen naar het woord kijken dat je net hebt gelezen en alles wat daarvoor kwam. Je mag niet naar de volgende woorden kijken. Dat is lastig, want in de echte wereld begrijpen we zinnen vaak pas als we weten wat er na het woord komt.

De auteurs van dit paper (van Google) hebben een nieuwe, slimme manier bedacht om computers taal te leren. Ze noemen hun uitvinding BERT.

Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het oude probleem: De "Eenzijdige" Lezer

Vroeger leerden computers taal op twee manieren:

• Van links naar rechts: Ze lazen een zin als een boek, van begin tot eind. Ze wisten niet wat er nog komen ging.
• Van twee kanten (maar los): Ze lazen van links naar rechts én van rechts naar links, maar ze plakte de twee resultaten daarna maar aan elkaar. Het was alsof je twee mensen hebt die een verhaal vertellen, maar ze praten niet met elkaar.

Dit was niet optimaal. Als je de zin "De man ging naar de..." leest, weet je pas dat het woord "winkel" of "bar" moet zijn als je de rest van de zin kent. De oude modellen moesten raden zonder die context.

2. De BERT-oplossing: De "Alwetende" Lezer

BERT is anders. Het is als een superlezer die een zin niet één voor één leest, maar de hele zin in één keer "in zich opneemt".

Stel je voor dat je een raadsel oplost.

• Oude manier: Je ziet een gat in een zin: "Ik eet een ..." en je moet raden wat er komt. Je kijkt alleen naar wat er voor staat.
• BERT-methode: BERT krijgt de zin "Ik eet een [MASK] op een zonnige dag" en moet het woord op de plek van [MASK] raden. Het kijkt naar alles om het gat heen: naar "Ik", "eet", maar ook naar "op een zonnige dag".

Dit noemen ze Masked Language Model. Ze verstoppen willekeurig 15% van de woorden in een zin (zoals een "vul-in-de-gaten" spel) en vragen de computer: "Wat hoorde hier eigenlijk?" Omdat de computer naar links én naar rechts mag kijken om het antwoord te vinden, leert het de taal veel dieper en slimmer.

3. De Tweede Oefening: Het "Vervolgspeurder"-Spel

Naast het invullen van gaten, leerden ze BERT nog één ding: Zin-relaties.
Ze gaven BERT twee zinnen en vroegen: "Is de tweede zin een logisch vervolg op de eerste?"

• Voorbeeld A: "Ik ging naar de winkel. Ik kocht melk." (Antwoord: Ja, dat klopt).
• Voorbeeld B: "Ik ging naar de winkel. De pinguïns vliegen niet." (Antwoord: Nee, dat heeft niets met elkaar te maken).

Dit helpt de computer om te begrijpen hoe zinnen met elkaar samenhangen, wat heel belangrijk is voor vragen als: "Wat is het antwoord op deze vraag in dit stuk tekst?"

4. Waarom is dit zo geweldig? (De "Lego" Vergelijking)

Vroeger moest je voor elke nieuwe taak (zoals het beantwoorden van vragen, het analyseren van sentiment in reviews, of het vertalen van tekst) een heel nieuw, complex bouwsel maken.

Met BERT is het anders. Stel je voor dat BERT een grote, universele Lego-bak is die al volledig is opgebouwd.

• Je hebt deze bak al 4 dagen lang (tijdens het "pre-training" stadium) laten bouwen met miljarden zinnen uit Wikipedia en boeken. De bak is nu supersterk en begrijpt de wereld.
• Als je nu een nieuwe taak wilt doen (bijvoorbeeld: "Vind het antwoord op deze vraag"), hoef je niet de hele bak opnieuw te bouwen. Je plakt er gewoon één klein deksel op (een extra laagje).
• Je past de hele bak een beetje aan (dit noemen ze "fine-tuning"), en klaar! Je hebt een wereldkampioen voor die specifieke taak.

Wat hebben ze bereikt?

Door deze methode hebben ze records verbroken op bijna alle belangrijke taaltests:

• Vragen beantwoorden: Ze werden beter dan mensen op bepaalde moeilijke testen.
• Zinnen begrijpen: Ze kunnen nu veel beter zien of twee zinnen hetzelfde betekenen of tegenstrijdig zijn.
• Snelheid: Het kostte hen veel tijd om de grote bak te bouwen (pre-training), maar voor elke nieuwe taak is het nu heel snel en goedkoop om een specialist te maken.

Samenvatting in één zin

BERT is als een student die eerst een jaar lang alle boeken in de bibliotheek heeft gelezen (zonder toetsen), zodat hij de taal perfect begrijpt, en daarna voor elke specifieke vraag in de wereld alleen nog maar een klein beetje hoeft te oefenen om een expert te worden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" in het Nederlands.

Probleemstelling

Bestaande taalmodellen voor pre-training (zoals ELMo en OpenAI GPT) hebben fundamentele beperkingen die hun prestaties op downstream-taken beperken:

1. Unidirectionele beperking: Modellen zoals GPT gebruiken een "left-to-right" (links-naar-rechts) architectuur. Dit betekent dat een token alleen context van voorgaande tokens kan zien, maar niet van volgende tokens. Dit is suboptimaal voor taken waar context uit beide richtingen essentieel is, zoals vraag-antwoord (QA) en natural language inference (NLI).
2. Architecturale complexiteit: Bestaande bidirectionele modellen (zoals ELMo) combineren onafhankelijk getrainde links-naar-rechts en rechts-naar-links modellen via een oppervlakkige concatenatie. Dit is minder krachtig dan een diep bidirectioneel model en vereist vaak zwaar ge-engineerde, taak-specifieke architecturen.
3. Mismatch tussen pre-training en fine-tuning: Bij het gebruik van maskering (zoals in een Cloze-taak) ontstaat er een discrepantie omdat het [MASK]-token niet voorkomt tijdens de fine-tuning fase, wat de representatie kan verstoren.

Methodologie: BERT

De auteurs introduceren BERT (Bidirectional Encoder Representations from Transformers), een model dat diepe bidirectionele representaties leert door ongelabelde tekst te gebruiken.

1. Model Architectuur

• BERT is gebaseerd op de Transformer-encoder (Vaswani et al., 2017).
• Het gebruikt bidirectionele self-attention, in tegenstelling tot GPT's geconstrueerde self-attention (alleen links).
• Er zijn twee varianten:
  • BERTBASE: 12 lagen, 768 verborgen eenheden, 12 attention heads, 110M parameters.
  • BERTLARGE: 24 lagen, 1024 verborgen eenheden, 16 attention heads, 340M parameters.
• Input Representatie: BERT kan zowel enkele zinnen als zinnenparen verwerken.
  • [CLS]: Een speciaal token aan het begin voor classificatietaken.
  • [SEP]: Een scheidings-token voor zinnenparen.
  • Segment Embeddings: Een geleerde embedding om aan te geven of een token tot zin A of zin B behoort.
  • Positie Embeddings: Om de volgorde van tokens te behouden.

2. Pre-training Taken
In plaats van een standaard taalmodel, gebruikt BERT twee onbewaakte taken om de bidirectionele context te leren:

• Task 1: Masked Language Model (MLM)
  • 15% van de input-tokens wordt willekeurig geselecteerd.
  • Van deze geselecteerde tokens wordt 80% vervangen door [MASK], 10% door een willekeurig token, en 10% blijft ongewijzigd.
  • Het doel is om het originele woord te voorspellen op basis van de context (links én rechts).
  • Oplossing voor mismatch: De strategie van 80/10/10 zorgt ervoor dat het model leert omgaan met de aanwezigheid van [MASK] tijdens pre-training, maar ook met de daadwerkelijke woorden tijdens fine-tuning.
• Task 2: Next Sentence Prediction (NSP)
  • Het model leert de relatie tussen twee zinnen.
  • Voor 50% van de voorbeelden is zin B de echte volgende zin van zin A (IsNext).
  • Voor de andere 50% is zin B een willekeurige zin uit het corpus (NotNext).
  • Dit helpt bij taken die afhankelijk zijn van zinsrelaties, zoals QA en NLI.

3. Fine-tuning

• BERT is ontworpen voor fine-tuning. De pre-getrainde parameters worden gebruikt om een model te initialiseren voor een specifieke downstream-taak.
• Er wordt slechts één extra output-laag toegevoegd (afhankelijk van de taak), en alle parameters worden samen geoptimaliseerd.
• Dit vereist geen ingewikkelde taak-specifieke architecturale aanpassingen.

Kernbijdragen

1. Bewijs van het belang van bidirectionele pre-training: BERT toont aan dat diepe bidirectionele representaties (via MLM) superieur zijn aan unidirectionele modellen of oppervlakkige concatenaties van twee richtingen.
2. Vereenvoudiging van taak-specifieke architecturen: BERT is het eerste fine-tuning model dat state-of-the-art prestaties behaalt op een breed scala aan taken (zowel op zinsniveau als token-niveau) zonder zware architecturale aanpassingen.
3. Universele toepasbaarheid: Het model werkt effectief voor diverse taken, variërend van sentimentanalyse tot vraag-antwoord en taalimplicatie.

Resultaten

BERT heeft nieuwe state-of-the-art resultaten behaald op 11 NLP-taken, met name op de GLUE-benchmark, SQuAD en SWAG.

• GLUE Benchmark: BERTLARGE behaalde een score van 80.5 (een verbetering van 7,7 punten ten opzichte van de vorige staat van de kunst).
• MultiNLI: Accuracy verbeterde naar 86.7% (+4,6% absoluut).
• SQuAD v1.1: F1-score verbeterde naar 93.2 (+1,5 punt).
• SQuAD v2.0: F1-score verbeterde naar 83.1 (+5,1 punt).
• SWAG: Accuracy verbeterde met 27,1% ten opzichte van het beste bestaande systeem (ESIM+ELMo).

Ablatie Studies:

• Het verwijderen van de NSP-taak leidde tot significante prestatieverlies op QA en NLI-taken.
• Het vervangen van MLM door een unidirectioneel (LTR) model resulteerde in slechtere prestaties op alle taken, wat het belang van bidirectionele context bevestigt.
• Grotere modelgroottes (BERTLARGE vs BERTBASE) leidden tot consistente verbeteringen, zelfs op taken met zeer weinig trainingsdata.

Betekenis en Impact

Dit paper markeert een fundamentele verschuiving in Natural Language Processing (NLP):

• Paradigmaverschuiving: Het bewijst dat grote, voorgeprogrammeerde, diepe bidirectionele modellen kunnen worden gebruikt als universele basis voor bijna elke NLP-taak via eenvoudige fine-tuning.
• Efficiëntie: Het elimineert de noodzaak om voor elke nieuwe taak een complexe, handmatig ontworpen architectuur te bouwen.
• Open Source: De auteurs hebben de code en de voorgeprogrammeerde modellen openbaar gemaakt, wat de toegang tot state-of-the-art NLP voor de hele gemeenschap heeft vergemakkelijkt en een nieuwe golf van onderzoek en toepassingen heeft gestimuleerd.

Kortom, BERT heeft laten zien dat "pre-training op grote schaal" gecombineerd met "fine-tuning" de meest effectieve route is voor het oplossen van complexe taalproblemen, waarbij de bidirectionele aard van het model de sleutel is tot het begrijpen van context.