SCITUNE: Aligning Large Language Models with Human-Curated Scientific Multimodal Instructions

Dit paper introduceert SciTune, een raamwerk voor het finetunen van multimodale grote taalmodellen met menselijk samengestelde wetenschappelijke instructies, wat leidt tot superieure prestaties op wetenschappelijke taken in vergelijking met bestaande modellen en synthetische data.

De kern

Stel je voor dat je een zeer slimme, maar nogal onwetende robot hebt. Deze robot kan enorme hoeveelheden tekst lezen en begrijpen, maar als je hem een plaatje laat zien, is hij vaak in de war. Hij weet misschien wat een "hond" is, maar hij snapt niet waarom de hond in een wetenschappelijke grafiek staat of wat die vreemde lijnen betekenen.

Dit is het probleem dat de onderzoekers van het Pacific Northwest National Laboratory wilden oplossen met hun nieuwe project: SciTune.

Hier is hoe ze het hebben aangepakt, vertaald in alledaags taalgebruik:

1. Het Probleem: De "Fake" Data Valstrik

In de wereld van kunstmatige intelligentie (AI) proberen mensen vaak hun robots slim te maken door ze duizenden voorbeelden te laten zien. Maar omdat echte, hoogwaardige wetenschappelijke data schaars is, maken veel onderzoekers nu kunstmatige data.

• De Analogie: Stel je voor dat je een kok wilt leren koken. In plaats van hem echte ingrediënten en recepten te geven, laat je hem koken op basis van recepten die een andere, minder ervaren robot heeft bedacht. Die robot heeft zijn recepten weer bedacht op basis van een andere robot.
• Het Gevolg: De nieuwe robot leert dan niet de echte smaak van het eten, maar leert de "hallucinaties" en fouten van de andere robots na. In de wetenschap (zoals geneeskunde of natuurkunde) kan dit gevaarlijk zijn. Een foutje in een medisch diagram kan leiden tot verkeerde diagnoses.

2. De Oplossing: De "Menselijke Mentor"

De onderzoekers zeggen: "Laten we stoppen met het gebruik van robot-gegenereerde recepten en in plaats daarvan werken met echte, door mensen gemaakte instructies uit wetenschappelijke tijdschriften."

Ze hebben een nieuw systeem gebouwd, SciTune, dat werkt als een super-mentor voor de AI. Ze hebben de AI niet alleen tekst gegeven, maar een combinatie van:

• Plaatjes: Grafieken, diagrammen, formules.

• Tekst: De bijschriften onder de plaatjes, de tekst in de grafiek zelf (zoals getallen en labels), en de alinea's in het artikel die erover praten.

• De Analogie: Stel je voor dat je een student wilt leren begrijpen wat er in een complexe wetenschappelijke presentatie staat. In plaats van hem alleen de dia's te laten zien, geef je hem ook de aantekeningen van de professor, de bijschriften van de grafieken en de uitleg in het boek. De student leert zo de context begrijpen, niet alleen het plaatje.

3. Hoe het Werkt: Twee Stappen

Het trainingsproces van SciTune bestaat uit twee fases, alsof je iemand eerst de theorie leert en daarna laat oefenen:

• Fase 1: De "Oog-Oefening" (Concept Alignment)
  De AI leert eerst wat de verschillende onderdelen van een plaatje zijn. Is dit een staafdiagram? Is dat een vergelijking? Wat zeggen de letters in de grafiek? De AI leert om de visuele signalen te koppelen aan de juiste woorden.

  • Resultaat: De AI wordt veel beter in het herkennen van wat ze ziet dan eerdere modellen. Ze kunnen bijvoorbeeld met 85% zekerheid zeggen of een plaatje een "staafdiagram" of een "puntendiagram" is, terwijl eerdere modellen maar op 55% zaten.

• Fase 2: De "Denk-Oefening" (Reasoning)
  Nu de AI weet wat ze ziet, leren ze de AI om vragen te beantwoorden. Ze krijgen vragen als: "Wat betekent deze piek in de grafiek?" of "Welk land is op de kaart het grootst?".

  • Resultaat: Hier gebeurde het echte wonder. De AI, getraind op deze menselijke wetenschappelijke data, presteerde beter dan mensen op de "ScienceQA"-test. Ze haalden een score van 90% tegenover 88% voor mensen.

4. Waarom is dit belangrijk?

De onderzoekers ontdekten iets heel interessants: Kwaliteit wint van kwantiteit.

• De Analogie: Je kunt een student duizenden boeken laten lezen die door een computer zijn geschreven (veel, maar vaak onnauwkeurig), of je kunt hem 100 boeken laten lezen die door echte experts zijn geschreven (minder, maar perfect).
• De Conclusie: De AI die werd getraind op de "echte" menselijke wetenschappelijke data (SciTune) was slimmer dan de AI die werd getraind op enorme hoeveelheden kunstmatige data. Zelfs al is de menselijke dataset kleiner, de informatie is betrouwbaarder en nauwkeuriger.

Samenvatting

SciTune is een manier om slimme computers (AI) te leren begrijpen wat er in wetenschappelijke plaatjes en teksten staat, door ze te laten leren van echte menselijke experts in plaats van van andere computers.

Het bewijst dat als je een AI wilt leren over de complexe wereld van de wetenschap, je het beste kunt vertrouwen op de menselijke wijsheid die al in de boeken en artikelen staat, in plaats van te proberen die wijsheid te kopiëren met software. Het resultaat is een AI die niet alleen tekst kan lezen, maar ook echt begrijpt wat ze ziet in een wetenschappelijke wereld.

Technische samenvatting

Probleemstelling

Hoewel instructie-finetuning een populair paradigma is om Large Language Models (LLM's) af te stemmen op menselijke intenties, is deze aanpak minder onderzocht voor de specialisatie van modellen in wetenschappelijke disciplines. Een groot obstakel is de schaarste aan hoogwaardige, menselijk geannoteerde multimodale data voor wetenschappelijke doeleinden. Veel recente multimodale modellen vertrouwen daarom op synthetisch gegenereerde instructies (afgeleid van andere modellen) om de data-schaarste te overbruggen.

De auteurs stellen echter dat synthetische data vaak de complexiteit van menselijke waarden mist, kan leiden tot bias, onnauwkeurigheden en een verlies van de ware data-distributie. Dit is vooral problematisch in kritieke wetenschappelijke domeinen zoals de geneeskunde, waar modellen die op synthetische data zijn getraind, vaak falen in betrouwbaarheid, veiligheid en robuustheid. Er is een behoefte aan een methode om bestaande foundation-modellen te synchroniseren met wetenschappelijke concepten en doelen, zodat ze complexe protocollen en richtlijnen kunnen volgen.

Methodologie: SciTune Framework

Het paper introduceert SciTune, een tuning-framework dat LLM's traint om multimodale instructies afgeleid van wetenschappelijke publicaties te volgen. Het framework bestaat uit twee hoofdstadia en maakt gebruik van een vroege fusie-strategie (early-fusion).

1. Architectuur:

• Het model bouwt voort op de LLaVA-architectuur.
• Het gebruikt LLaMA-1 (7B en 13B parameters) als taaldecoder en CLIP als visuele encoder.
• Een SciTune-adapter (een lineaire projectielaag) transformeert de output van de visuele encoder naar input voor de taaldecoder. Tijdens de vooropleiding worden de encoder en decoder bevroren, terwijl alleen de adapter wordt bijgewerkt.

2. Trainingsstadium 1: Wetenschappelijke Multimodale Concept-Alignering

• Data: Het team gebruikt het SciCap-dataset (meer dan 400.000 figuren uit arXiv-papers, 2010-2020), bestaande uit acht wetenschappelijke disciplines.
• Instructie-template: De instructies zijn menselijk gecurateerd en bevatten vier componenten:
  • sD: Systeembericht (rol en context).
  • sI: Instructie (willekeurig gekozen visueel-gegrondeerde vragen).
  • sT: Multimodale data, bestaande uit:
    • sc: Figurenbeschrijvingen (captions).
    • st: Type van de figuur (bijv. grafiek, diagram).
    • so: Tekstherkenning (OCR) uit de afbeelding.
    • sm: Verwijzingen naar alinea's in de tekst.
• Doel: Het model leert om wetenschappelijke visuele signalen en tekstuele signalen gezamenlijk te interpreteren en te genereren in één conversatiebeurt.

3. Trainingsstadium 2: Instructie-finetuning voor Wetenschappelijk Redeneren

• Het vooraf getrainde model (SciTune-SciCap) wordt verder gefinetuned op het ScienceQA-dataset.
• Dit stadium richt zich op multimodale redeneertaken (Vraag-Antwoord) waarbij het model een antwoord moet geven en een onderbouwing (lectuur/oplossing) moet genereren.

Kernbijdragen

1. SciTune Framework: Een tweestaps-tuningmethode die specifiek is ontworpen om LLM's af te stemmen op menselijk gecurateerde wetenschappelijke multimodale instructies.
2. Menselijke Curatie vs. Synthetische Data: Het paper demonstreert dat menselijk gecurateerde data, ondanks de kleinere omvang, superieur is aan synthetische data voor wetenschappelijke taken. Het vermijdt de bias en onnauwkeurigheden van door AI gegenereerde instructies.
3. Multimodale Integratie: Het succesvol integreren van diverse signalen (OCR, figuurtype, captions, tekstverwijzingen) in één instructie-template, wat leidt tot een dieper begrip van wetenschappelijke figuren.
4. Open Source: Het vrijgeven van de codebase en de getrainde modellen.

Resultaten

De prestaties van LLaMA-SciTune werden getest op verschillende benchmarks:

• Figuurtype-Generatie (SciCap): LLaMA-SciTune-SciCap presteerde 57% beter dan een standalone CLIP-model bij het classificeren van figuurtypes (bijv. onderscheid tussen scatterplot en grafiek). De gemiddelde nauwkeurigheid steeg van 55,11% (CLIP) naar 85,81%.
• Figuurbeschrijving (Captioning): Het model overtrof de state-of-the-art BLIP-modellen op zowel de SciCap als VisText benchmarks, gemeten aan de hand van BLEU en ROUGE-scores. Dit suggereert een beter begrip van complexe wetenschappelijke plots.
• Wetenschappelijk Redeneren (ScienceQA):
  • Het LLaMA-SciTune-ScienceQA-13B model behaalde een gemiddelde nauwkeurigheid van 90,03%, wat hoger is dan de menselijke prestatie (88,40%).
  • Het presteerde beter dan andere geavanceerde modellen (zoals LLaVA en Multimodal-CoT), zelfs zonder gebruik te maken van GPT-4 als "judge" tijdens de inferentie.
  • Modellen getraind met alle tekstuele modaliteiten (CTOM: Caption, Type, OCR, Mentions) presteerden beter dan die alleen getraind met captions.
  • De schaalvergroting van 7B naar 13B parameters leverde een prestatieverbetering van bijna 5% op, wat aanzienlijk groter is dan de verbetering die bij LLaVA werd waargenomen.

Analyse van Fouten:
Hoewel het model vaak het juiste antwoord gaf, bevatten de gegenereerde redeneringen soms fouten (voornamelijk in "common sense" kennis of visuele telling). Het model bleek robuust: het kon soms het juiste antwoord voorspellen ondanks een onjuiste onderbouwing.

Betekenis en Conclusie

Het paper concludeert dat menselijk gecurateerde wetenschappelijke multimodale instructies van onmisbare waarde blijven voor het trainen van LLM's, ondanks de opkomst van synthetische data. Hoewel synthetische data sneller en goedkoper te genereren is, biedt menselijke curatie een betrouwbaarde "ground truth" die essentieel is voor domeinen waar nauwkeurigheid en veiligheid cruciaal zijn (zoals geneeskunde en natuurkunde).

De resultaten tonen aan dat door zich te richten op de kwaliteit van de instructies en de integratie van diverse wetenschappelijke signalen, foundation-modellen significant kunnen worden verbeterd om complexe wetenschappelijke taken uit te voeren, zelfs met minder data dan synthetische alternatieven. Dit onderstreept het belang van menselijke expertise in de ontwikkeling van betrouwbare AI voor wetenschappelijke toepassingen.