Technische Samenvatting: MMClima: Een Framework voor Multimodale Klimaatwetenschappelijke Data en Evaluatie

Probleemstelling

Klimaatveranderingsonderzoek vereist in toenemende mate AI-systemen die in staat zijn om te redeneren over tekst, dynamische visuele inhoud en wetenschappelijke figuren. De huidige klimaat-QA-benchmarks (Question Answering) kampen echter met drie primaire beperkingen:

1. Schaal en Omvang: De meeste datasets zijn klein (honderden tot enkele duizenden items), wat hun nut voor grootschalige training of robuuste evaluatie beperkt.
2. Modaliteit: Bestaande bronnen zijn overwegend unimodaal (tekstueel) of vertrouwen op tekstuele beschrijvingen van figuren in plaats van directe redenering op pixelniveau over de figuren zelf.
3. Validatie: Automatisch gegenereerde datasets missen vaak een rigoureuze menselijke validatie, wat leidt tot ruis en onbetrouwbare benchmarks, terwijl door experts gecureerde sets te klein zijn voor moderne foundation models.

Als gevolg hiervan worstelen algemene Large Language Models (LLMs) en Vision-Language Models (VLMs) met fijnmazige klimaatgerelateerde taken zoals subpaneel-lokalisatie, teken-/eenheidgetrouwheid en gebeurtenisattributie, wat leidt tot onbetrouwbare prestaties in contexten waar hoge inzet bij het spel is.

Methodologie

De auteurs introduceren MMClima, een grootschalig multimodaal framework dat deze hiaten probeert te dichten via een modulaire, geautomatiseerde pipeline met human-in-the-loop validatie.

1. Databronnen en Domeinen

Het corpus beslaat vijf kerngebieden van de klimaatwetenschap:

• Atmosferische samenstelling & luchtkwaliteit
• Oceanische en kustdynamiek
• Cryosfeer en gletsjersystemen
• Klimaatgestuurde extreme gebeurtenissen
• Klimaatbeleid, governance en mitigatiepaden

De data is afkomstig van:

• Tekstueel: Wikipedia-artikelen (gestructureerde fundamentele kennis) en YouTube-videotranscripten (uitleggende discours).
• Visueel: Figuren uit de beoordelingsrapporten van het Intergovernmental Panel on Climate Change (IPCC) en Our World in Data (OWID), inclus\n bij statistische grafieken, schematische diagrammen en geospatiale kaarten.

2. Geautomatiseerde QA-generatie Pipeline

Het framework maakt gebruik van een meerfasige pipeline om meer dan 100.000 QA-paren te genereren:

• Retrieval & Segmentatie: Artikelen en transcripten worden opgehaald en gesegmenteerd met behulp van sliding windows (3200 tekens voor tekst, 500 tekens voor transcripten) om semantische coherentie te behouden.
• Claim Extractie: Een LLM ($gpt-4.1-nano$) extraheert atomaire, verifieerbare feitelijke claims uit de segmenten.
• Deduplicatie: Claims worden ingebed en gefilterd met behulp van cosine similarity ($>0.9$) om redundantie te verwijderen.
• Feitverificatie: Een "FactGen"-module controleert claims tegen autoritatieve bronnen (bijv. IPCC-rapporten) middels Retrieval-Augmented Generation (RAG) om niet-verifieerbare beweringen te filteren.
• QA-Synthese: Geverifieerde claims worden getransformeerd naar diverse formaten (Multiple-Choice, Cloze, Free-form) met behulp van een andere LLM ($Llama-3.3-70B-Instruct-Turbo$) om extractie van synthese te ontkoppelen en bias te verminderen.
• Visual QA (VQA): Een hybride aanpak combineert handmatige expertidentificatie van visuele inzichten met geautomatiseerde template-gebaseerde generatie om op figuren gebaseerde vragen te creëren.

3. Human-in-the-Loop Validatie

Om wetenschappelijke betrouwbaarheid te garanderen, hebben vijf domeinexperts meer dan 210 uur geïnvesteerd in iteratieve beoordeling. Zij filterden ambigue stellingen, onduidelijke eenheden, onwaarschijnlijke distractoren en antwoordlekken. De inter-annotator overeenkomst bereikte $\kappa = 0.83$. Dit proces verminderde de ruis terwijl de dekking behouden bleef, wat resulteerde in een definitieve corpus van 104.902 expert-gevalideerde QA-paren.

4. Benchmarking en Evaluatie

Het framework evalueert 28 LLMs en 8 VLMs (zowel proprietary als open-source) in een zero-shot setting.

• Metrieken: Accuratesse voor MCQ/Yes-No; BERTScore voor Free-form; en een samengestelde metriek (Exact Match + ROUGE-1 + Cosine Similarity) voor Cloze-taken.
• Baseline: De auteurs hebben Llama 3.3 70B gefinetuned op de tekstuele trainingssplit met behulp van Parameter-Efficient Fine-Tuning (LoRA) om de MMCLIMA-70B-TXT te creëren, een domein-geadapteerde baseline.

Belangrijkste Bijdragen

1. Grootschalige Multimodale Dataset: Een corpus van 104k+ expert-gevalideerde QA-paren verspreid over tekst, videotranscripten en wetenschappelijke figuren binnen vijf klimaatdomeinen.
2. Systematische Multimodale QA: Integratie van op figuren gebaseerde taken die directe visuele redenering vereisen, waarmee verder wordt gegaan dan enkel tekstuele beschrijvingen van afbeeldingen.
3. QA-generatie Framework: Een modulaire pipeline die automatische claim-extractie, RAG-gebaseerde verificatie en ontkoppelde synthese combineert om nauwkeurigheid te waarborgen en bias te verminderen.
4. Uitgebreide Benchmarking: De eerste systematische evaluatie van 28 LLMs en 8 VLMs op klimaatwetenschap, die zowel closed-source als open-source families beslaat.
5. Domein-geadapteerde Baseline: De release van MMCLIMA-70B-TXT, die de effectiviteit van finetuning op hoogwaardige, domeinspecifieke data aantoont.

Resultaten

• Textuele QA: De gefinetuned MMCLIMA-70B-TXT behaalde een nieuwe state-of-the-art algemene score van 78.24, waarmee het superieur is aan frontier closed-source modellen (bijv. GPT-5-Nano met 69.66) en sterke open-source baselines (DeepSeek-Chat met 75.03).
• Taakmoeilijkheid: Free-form QA bleek relatief eenvoudig (scores >90 BERTScore), terwijl Cloze QA de meest discriminerende taak bleef (scores <50 voor alle systemen), wat dient als een rigoureuze stresstest voor lexicale en numerieke precisie.
• Visual QA: Closed-source VLMs (bijv. GPT-5) leidden over het algemeen, maar open-source modellen (bijv. Pixtral-Large-2411) vertoonden competitieve prestaties in specifieke subtaken.
• Domeinadaptatie: Finetuning verbeterde de prestaties aanzienlijk over verschillende architecturen (getest op Qwen 2.5 7B en GPT OSS 20B), wat bevestigt dat de winst niet architectuur-specifiek is, maar voortkomt uit de kwaliteit van de supervisiedata.

Betekenis

Het paper positioneert MMClima als een substantiële vooruitgang in de evaluatie van de klimaatwetenschap, waarbij wordt ingegaan op de kritieke behoefte aan een benchmark die tegelijkertijd grootschalig, multimodaal en rigoureus gecureerd is. Door tekst, video en figuren te verenigen, biedt het een fundament voor het evalueren van zowel taal- als visie-taalmodellen in scenario's met hoge inzet binnen de klimaatwetenschap. De auteurs benadrukken dat hoewel de dataset de ontwikkeling en evaluatie van systemen voor klimaateducatie en -analyse ondersteunt, het geen vervanging is voor deskundige oordeelsvorming bij veiligheidskritische beslissingen. De release van de dataset, de pipeline en de modelgewichten heeft als doel de multimodale evaluatie te standaardiseren en de evolutie van klimaatredeneer-capaciteiten in AI te ondersteunen.