BEAMS: Benchmarking and Evaluating AI for Modeling and Simulation

Technische Samenvatting: BEAMS – Benchmarken en Evalueren van AI voor Modellering en Simulatie

Probleemstelling
De proliferatie van Large Language Models (LLM's) in modellering en simulatie biedt potentiële winst in efficiëntie, maar introduceert aanzienlijke risico's met betrekking tot ondoorzichtigheid, gebrek aan interpreteerbaarheid en het onvermogen om redenering te verifiëren. Huidige AI-tools falen vaak bij het construeren van expliciete simulatiemodellen, die noodzakelijk zijn om gevestigde analytische methoden toe te passen voor het begrijpen van hoe een AI tot conclusies komt. Zonder transparante, verifieerbare modellen zijn AI-tools ontoereikend voor het informeren van real-world beslissingen over complexe maatschappelijke problemen. Bovendien ontbreken generaliseerbare richtlijnen om te evalueren of AI-tools menselijke expertise aanvullen of deze slechts vervangen, en bestaan er geen gestandaardiseerde benchmarks om de ontwikkeling van verantwoord, ethisch AI voor dit domein te stimuleren.

Methodologie
Het BEAMS-initiatief adresseert deze hiaten door een open digitale en organisatorische infrastructuur te vestigen voor het gezamenlijk evalueren van AI-tools.

• Infrastructuur: Het initiatief maakt gebruik van het open-source sd-ai-project (gehost op GitHub) om een herbruikbaar platform te bieden. Dit platform bevat een request-handler die fungeert als interface tussen de softwareclient van een modelleur en externe AI-"engines". Het dwingt gestructureerde communicatie af via verwerkbare JSON-outputs, waardoor antwoorden context-adequaat en machine-leesbaar zijn.
• Organisatiestructuur: Het initiatief opereert via twee werkgroepen: een Stuurgroep (die prioriteit geeft aan benchmarks en principes) en een Technische Groep (die geautomatiseerde tests implementeert). Het initiatief is verankerd aan de University at Buffalo, maar omvat ook samenwerkingspartners uit het bedrijfsleven en de academische wereld.
• Ontwerpprincipes: Het evaluatiekader wordt geleid door acht principes, waaronder "Doen geen kwaad", "Menselijke capaciteiten aanvullen, niet vervangen" en "Leveren van modellen van hoge kwaliteit".
• Evaluatiekader: Tests worden gecategoriseerd op basis van de fase van het modelleringproces (probleemdefinitie, conceptualisering, formulering, analyse, beleidsanalyse) en het type engine (Kwalitatief, Kwantitatief, Discussie). De evaluatiesuite omvat zeven distincte categorieën:
  1. Causale Vertaling: Beoordeelt het vermogen om beschrijvingen in gewone taal om te zetten in gestructureerde modellen, gebruikmakend van synthetische "valse alternatieve universa" met deterministische grondwaarheid om structureel begrip te isoleren van domeinkennis.
  2. Modeliteratie: Test het vermogen om nieuwe causale relaties toe te voegen aan bestaande modellen zonder de oorspronkelijke structuur te breken, gebruikmakend van synthetische variabelen.
  3. Causale Redenering: Evalueert de identificatie van door experts gevalideerde causale mechanismen in real-world scenario's (bijvoorbeeld pandemie-dynamiek) in plaats van oppervlakkig patroonherkenning.
  4. Conformiteit: Meet de naleving van expliciete gebruikersbeperkingen (bijvoorbeeld specifieke variabelen, loopaantallen) in plaats van het matchen van één enkele grondwaarheid.
  5. Verklaring van Modelgedrag: Beoordeelt het vermogen om simulatiedynamiek en dominantie van feedbacklussen te verklaren op basis van meegeleverde JSON-gecodeerde modeldata.
  6. Voorgestelde Stappen voor Modelbouw: Test het vermogen om logische constructiestappen (voorraad, stromen, parameters) voor een gegeven probleem te schetsen.
  7. Voorgestelde Modelreparaties: Evalueert het vermogen om formuleringfouten in bestaande modellen te diagnosticeren en te verklaren.

Belangrijkste Bijdragen

• Open Benchmarkkader: De creatie van het sd-ai-project biedt de eerste open-source, leveranciersonafhankelijke infrastructuur voor het testen van AI-modelleringstools tegen gestandaardiseerde, geautomatiseerde benchmarks.
• Uitgebreide Testsuite: De implementatie van in totaal 116 tests over drie engine-types (53 voor Kwalitatief, 46 voor Kwantitatief, 17 voor Discussie) die diverse modelleringstaken bestrijken.
• Principiële Evaluatie: De expliciete uitlijning van technische tests met ethische en operationele ontwerpprincipes (bijvoorbeeld het waarborgen dat tools het menselijke modelleringproces niet omzeilen).
• Empirische Data over LLM-prestaties: Het genereren van prestatie-ranglijsten die engine-prestaties ontkoppelen van specifieke LLM's, waardoor het wisselen van onderliggende modellen mogelijk is om flexibiliteit te testen.

Resultaten
De evaluatie van diverse LLM's gekoppeld aan sd-ai-engines onthult aanzienlijke variatie in prestaties op basis van taaktype en modelarchitectuur:

• Taakafhankelijkheid: AI-tools presteren het beste bij discussietaken (bijvoorbeeld het verklaren van modelgedrag, het voorstellen van stappen), waarbij LLM's excelleren in het herschikken van meegeleverde tekst. De prestaties dalen aanzienlijk bij kwantitatieve foutreparatie en causale redeneringstaken die diepe domeinlogica vereisen.
• Kwalitatief versus Kwantitatief: Tools halen over het algemeen de basiscompetentietests voor kwalitatieve taken (vertaling, iteratie, conformiteit), maar worstelen met causale redenering die is gebaseerd op real-world voorbeelden. Kwantitatieve tools tonen beperkte competentie, met name bij het identificeren en repareren van formuleringfouten.
• Geen Dominante LLM: Geen enkele LLM domineert over alle engine-types of taken heen. Hoogpresterende modellen in één categorie presteren vaak slecht in een andere.
• Snelheid versus Nauwkeurigheidsafwegingen: De meest geavanceerde of "hoogste-redenerende" LLM's presteren niet consequent beter dan kleinere, snellere modellen. In sommige gevallen "denken" complexere modellen "te veel na", wat leidt tot uitvoerige outputs met hogere latentie maar geen evenredige winst in nauwkeurigheid. Discussietaken zijn het snelst (25s), terwijl kwantitatieve taken het langzaamst zijn (60s).
• Specifieke Bevindingen:
  • Kwalitatief: Hoge scores in vertaling en conformiteit; lage scores in causale redenering (bijvoorbeeld sommige modellen scoorden 0% op causale redenering).
  • Kwantitatief: Matige scores in vertaling en iteratie; zeer lage scores in voorgestelde modelreparaties (variërend van 0% tot 42,9%).
  • Discussie: Hoge totaalscores (tot 94,1%), met name bij het voorstellen van stappen voor modelbouw en reparaties.

Betekenis
Het artikel stelt dat het BEAMS-initiatief een noodzakelijke verschuiving biedt van assessments van natuurlijke taalverwerking naar domeinspecifieke tests die de eisen van echt modelleringwerk weerspiegelen. Door transparante, reproduceerbare en openlijk bestuurde benchmarks te vestigen, bereikt het initiatief het volgende:

1. Stimulans voor Verantwoorde Ontwikkeling: Creëert een mechanisme voor de modelleringcommunity om LLM-bouwers te sturen naar tools die interpreteerbaar, ethisch en uitgelijnd zijn met menselijke expertise.
2. Validatie van Mens-AI-samenwerking: Demonstreert dat AI het meest effectief is als cognitieve hulp die routinematige stappen versnelt (bijvoorbeeld het opstellen van links), terwijl de menselijke modelleur "in de loop" blijft voor validatie en ethische toetsing.
3. Onthulling van Taakspecifieke Nuances: Benadrukt dat "beter" AI geen monolithisch concept is; prestaties zijn sterk afhankelijk van taakframing, wat wijst op de noodzaak van flexibele strategieën zoals per-taak LLM-routing in plaats van vertrouwen op één enkel "beste" model.
4. Fundering voor Toekomstig Werk: Hoewel huidige evaluaties overeenstemmen met de meeste ontwerpprincipes, erkent het initiatief lopende inspanningen om bias aan te pakken en alternatieve perspectieven op te nemen, waardoor het kader wordt gepositioneerd als een cumulatieve, door de gemeenschap gedreven standaard voor de toekomst van AI in simulatie.