FeynTune: Large Language Models for High-Energy Theory

Dit artikel introduceert FeynTune, een reeks gespecialiseerde taalmodellen voor de theoretische hoge-energiefysica die zijn ontwikkeld door het fine-tunen van Llama-3.1 op arXiv-abstraten, en toont aan dat deze modellen de basisversie en toonaangevende commerciële modellen overtreffen bij het voltooien van abstracts op dit vakgebied.

De kern

FeynTune: De "Fysica-School" voor AI

Stel je voor dat je een zeer slimme, maar algemene student hebt die alles over de wereld weet: van koken tot coderen, van geschiedenis tot biologie. Dit is een Groot Taalmodel (LLM), zoals de beroemde ChatGPT of Llama van Meta. Ze zijn briljant, maar als je ze vraagt om een heel specifiek, moeilijk onderwerp uit de theoretische fysica uit te leggen (zoals waarom zwarte gaten bestaan of hoe deeltjes botsen), raken ze soms in de war. Ze kunnen wel heel goed klinken, maar de feiten zijn dan niet altijd 100% correct.

De auteurs van dit paper, een team van wetenschappers van Queen Mary University of London, de Universiteit van Kreta en bedrijven als Meta en Amazon, wilden deze "algemene student" omtoveren tot een gespecialiseerde fysicus. Ze noemen hun project FeynTune (een knipoog naar de beroemde fysicus Richard Feynman).

Hier is hoe ze dat deden, vertaald in simpele taal:

1. Het Leerplan: Alleen de beste boeken

In plaats van de student te laten studeren op de hele bibliotheek, gaven ze hen een speciaal curriculum. Ze namen de samenvattingen (abstracts) van duizenden wetenschappelijke artikelen over deeltjesfysica en zwaartekracht (van de website arXiv).

• De oefening: Ze gaven de AI een stukje van een samenvatting en vroegen: "Wat komt er hierna?"
• Het doel: De AI moest leren de specifieke taal, logica en patronen van fysici nabootsen.

2. De Methode: "Fijne Afstelling" (Fine-tuning)

Ze hebben de basis-AI niet volledig opnieuw leren schrijven (dat zou te duur en te zwaar zijn). In plaats daarvan gebruikten ze een slimme techniek genaamd LoRA.

• De Analogie: Stel je voor dat de basis-AI een volwassen persoon is die al alles weet. LoRA is als het geven van een specifiek nascholingscursus of het plakken van een handige "cheat sheet" op zijn hoofd. De basis blijft hetzelfde, maar de AI leert nu hoe hij zich moet gedragen als een expert in deeltjesfysica.
• Ze maakten verschillende versies: sommige die alleen naar deeltjesfysica keken, en andere die ook naar verwante vakken (zoals biologie of informatica) keken om te zien of dat de creativiteit verhoogde.

3. De Resultaten: Beter dan de basis, maar nog niet perfect

Toen ze de AI testten, gebeurde er het volgende:

• De basis-AI (zonder training) gaf vaak onzin, herhaalde zinnen of maakte fouten in de terminologie. Het was alsof een leek probeerde een wiskundig bewijs te schrijven.
• De getrainde FeynTune-modellen spraken de taal van de fysici veel beter. Ze gebruikten de juiste termen en de zinnen liepen logisch. Ze klonken als echte wetenschappers.
• De verrassing: De modellen die ook naar andere vakgebieden keken (zoals biologie), waren soms zelfs creatiever. Het was alsof de fysicus die ook biologie studeerde, onverwachte verbanden zag tussen deeltjes en cellen.

4. De Vergelijking met de "Grote Jongens"

Ze vergeleken hun eigen modellen met de superkrachtige commerciële AI's (zoals ChatGPT-4 of Claude).

• De commerciële AI's waren nog steeds iets beter in feitelijke nauwkeurigheid. Ze wisten precies wat er in de echte artikelen stond.
• Maar... de FeynTune-modellen waren verrassend goed! Ze konden net zo goed klinken als de dure modellen, maar dan met een eigen, gespecialiseerde "stem". Ze waren niet 100% feitelijke waarheid (soms verzonnen ze een beetje), maar ze begrepen de gevoel en de logica van de fysica veel beter dan de basisversie.

Waarom is dit belangrijk?

Stel je voor dat je een onderzoeker bent die vastloopt in een ingewikkeld probleem.

• Vroeger: Je moest zelf duizenden artikelen lezen.
• Met FeynTune: Je hebt een virtuele assistent die de taal van de deeltjesfysica perfect spreekt. Hij kan je helpen bij het bedenken van nieuwe ideeën, het samenvatten van complexe theorieën of het vinden van verbanden die je zelf misschien over het hoofd ziet.

Kortom: De auteurs hebben een "algemene slimme AI" getraind tot een "fysica-expert". Het is nog geen volmaakte wetenschapper die de volgende grote ontdekking doet, maar het is een enorme stap in de richting van een AI-assistent die echt helpt bij het begrijpen van de geheimen van het universum. Ze hebben bewezen dat je met relatief kleine modellen en slimme training al zeer krachtige, gespecialiseerde tools kunt bouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "FeynTune: Large Language Models for High-Energy Theory", geschreven in het Nederlands.

Titel: FeynTune: Large Language Models voor Hoge-Energie Theorie

1. Het Probleem

Hoewel Large Language Models (LLMs) zoals GPT-4 en Llama indrukwekkende prestaties leveren op algemene taken, ontbreekt het aan gespecialiseerde modellen voor de theoretische natuurkunde, en specifiek voor Hoge-Energie Theorie (High-Energy Theory). Bestaande wetenschappelijke LLMs zijn voornamelijk gericht op astronomie en kosmologie (bijv. astroBERT, AstroLlama), maar er is een gebrek aan modellen die diepgaand begrip hebben van de complexe wiskundige taal en redeneringen binnen de theoretische deeltjesfysica (hep-th), kwantumveldentheorie en zwaartekracht.

De uitdaging ligt in het creëren van een model dat:

• De specifieke terminologie en notatie van de theoretische fysica beheerst.
• Logisch samenhangende teksten kan genereren die wetenschappelijk plausibel zijn.
• Functioneert ondanks de relatief kleine hoeveelheid beschikbare trainingdata in dit specifieke domein vergeleken met algemene domeinen.

2. Methodologie

De auteurs hebben FeynTune ontwikkeld, een collectie van 20 gespecialiseerde LLM-varianten. De aanpak omvatte de volgende stappen:

• Basismodel: Er werd gebruikgemaakt van Meta's Llama-3.1-8B (8 miljard parameters) als uitgangspunt vanwege de open gewichten en efficiëntie.
• Datasets: De modellen werden gefinetuned op abstracts van arXiv (tot augustus 2024). Er werden 10 verschillende datasets (s1-s10) samengesteld:
  • s1: Alleen hep-th (High-Energy Theory).
  • s2, s3, s7, s8: Combinaties van hep-th met hep-ph (High-Energy Phenomenology) en gr-qc (General Relativity).
  • s4-s6: Variaties in percentages van niet-hep-th content binnen een vaste datasetgrootte.
  • s9: Alleen hep-ph en gr-qc (geen hep-th).
  • s10: Een ongebruikelijke combinatie van hep-th met q-bio (Quantitative Biology) en cs (Computer Science) om te testen of diverse data creativiteit bevordert.
• Finetuning Techniek: Er werd gebruikgemaakt van Low-Rank Adaptation (LoRA) om het aantal trainbare parameters te beperken. Twee configuraties werden getest:
  • LoRA-QKV: LoRA-adapters alleen toegepast op de Query-Key-Value matrices.
  • LoRA-all: LoRA-adapters toegepast op alle projectiematrices (inclusief up/down/gate projections).
• Training: De modellen werden getraind met 4-bit kwantisatie van de basisgewichten en 16-bit LoRA-adapters, gebruikmakend van AdamW-optimizer en een cosine decay learning rate schedule.
• Evaluatie:
  • Perplexity: Gemeten op een testset van hep-th abstracts.
  • Semantische Similariteit: Gebruikmakend van SemScore (embedding vectors) om de betekenisovereenkomst met de grondwaarheid te meten.
  • Menselijke Evaluatie: Drie experts in deeltjesfysica beoordeelden de kwaliteit van gegenereerde abstract-completies op een schaal van 1-10.

3. Belangrijkste Bijdragen

1. Constructie van FeynTune: De eerste stap naar een gespecialiseerde LLM voor theoretische hoge-energiefysica, specifiek gericht op abstract-completie.
2. Comparatieve Analyse: Een uitgebreide vergelijking tussen modellen getraind op pure fysica-data, gemengde fysica-data, en data met ver verwijderde domeinen (biologie, informatica).
3. Validatie van LoRA-configuraties: Een gedetailleerd onderzoek naar het effect van LoRA-QKV versus LoRA-all, inclusief de observatie van een ongewone "stap-functie" in de leercurve van LoRA-all-modellen zonder negatieve impact op de prestaties.
4. Openbare Beschikbaarheid: De datasets, code en de gefinetuned LoRA-adapters zijn openbaar gemaakt via Hugging Face en GitHub.

4. Resultaten

• Prestaties t.o.v. Basismodel: Alle modellen die op hep-th-data waren gefinetuned, presteerden significant beter dan het basismodel (Llama-3.1-8B) op de taak van het completeren van hep-th abstracts, zowel in perplexity als in menselijke beoordeling.
• Invloed van Dataset-Samenstelling:
  • Het toevoegen van data uit aanverwante domeinen (hep-ph, gr-qc) verbeterde de prestaties, zelfs bij beperkte datasetgroottes.
  • Modellen getraind op zeer diverse datasets (zoals s10 met q-bio en cs) bleken creatievere en soms verrassende connecties te maken, hoewel de feitelijke nauwkeurigheid beperkt bleef door het trainen op alleen abstracts.
  • Modellen getraind alleen op niet-hep-th data (s9) presteerden slechter dan de fysica-modellen, maar nog steeds beter dan het basismodel in menselijke evaluatie.
• LoRA-Varianten: Hoewel LoRA-QKV modellen vaak een iets lagere perplexity hadden, toonde de menselijke evaluatie geen significant verschil in kwaliteit tussen LoRA-QKV en LoRA-all.
• Vergelijking met Commerciële Modellen: De gespecialiseerde FeynTune-modellen konden concurreren met gratis versies van commerciële LLMs (ChatGPT, Claude, Gemini, DeepSeek) in het gebruik van technische taal en het genereren van wetenschappelijk plausibele zinnen. Echter, commerciële modellen hadden over het algemeen een hogere feitelijke nauwkeurigheid en produceerden minder "hallucinaties" of herhalingen.
• Kwalitatieve Observaties: De gefinetuned modellen vermijden de herhalingen en foutieve metadata die vaak voorkomen in het basismodel. Ze tonen echter nog steeds beperkingen in feitelijke juistheid, aangezien ze alleen op abstracts zijn getraind en geen toegang hebben tot de volledige bewijsvoering van artikelen.

5. Betekenis en Toekomstperspectief

Dit paper bewijst het concept dat zelfs kleine, gespecialiseerde LLMs (8B parameters) effectief kunnen worden gefinetuned voor zeer niche wetenschappelijke domeinen. De resultaten suggereren dat:

• Data-augmentatie uit aanverwante domeinen cruciaal is voor domeinen met een kleine corpus (zoals hep-th).
• De combinatie van LoRA en open-source modellen een kostenefficiënte route biedt voor het ontwikkelen van wetenschappelijke AI-assistenten.

De auteurs zien de volgende stappen als het uitbreiden van de training naar volledige papers (niet alleen abstracts), het implementeren van Retrieval Augmented Generation (RAG) voor feitelijke nauwkeurigheid, en het ontwikkelen van een volledig functionele conversatie-AI-assistent voor onderzoekers in de theoretische fysica. Dit zou kunnen leiden tot een tool die niet alleen literatuur navigeert, maar ook helpt bij het oplossen van complexe theoretische problemen en het genereren van nieuwe ideeën.