Technische Samenvatting: Distribird

1. Probleemstelling

Bayesiaanse kalibratie van procesgebaseerde modellen (bijv. in de landbouw, hydrologie of epidemiologie) vereist het specificeren van een prior-distributie voor elke modelparameter. Informatieve priors—afgeleid uit de wetenschappelijke literatuur—zijn statistisch superieur aan oninformatieve uniforme priors, maar worden in de praktijk zelden gebruikt. De barrière is niet een gebrek aan kennis, maar de prohibitieve kosten van het handmatig verzamelen, lezen en synthetiseren van decennia aan literatuur om deze priors te construeren.

Recente Large Language Models (LLMs) bieden een potentiële oplossing door de zoektocht naar en synthese van literatuur te automatiseren. Echter, directe prompting van LLMs voor priors introduceert kritieke gebreken voor wetenschappelijke workflows:

• Gebrek aan Traceerbaarheid: LLMs genereren vaak zelfverzekerde priors zonder bronnen te citeren, wat verificatie onmogelijk maakt.
• Hallucinatie: Modellen kunnen priors fabriceren voor niet-empirische parameters (bijv. software instelconstanten) of typografische fouten.
• Gegevensprivacy: Cloud-gebaseerde LLMs vereisen dat parameterbeschrijvingen en ongepubliceerde modelleringsdetails naar derden worden verzonden.

Het kernproblein is de afwezigheid van een schaalbare, betrouwbare en volledig lokale tool die de constructie van literatuur-geïnformeerde priors automatiseert, terwijl volledige herkomst (provenance) behouden blijft en buiten bereik liggende verzoeken worden afgewezen.

2. Methodologie: Het Distribird Systeem

Distribird is een agentic webapplicatie en Python-bibliotheek die is ontworpen om de constructie van literatuur-geïnformeerde priors te automatiseren. Het werkt volledig op lokale hardware met behulp van open-weight modellen, waardoor gegarandeerd wordt dat er geen gegevens de machine van de onderzoeker verlaten.

2.1 Kernarchitectuur

Het systeem is gebouwd op een LangGraph multi-agent pijplijn die een stateful workflow orkestreert met drie feedbackloops en conditionele routing. De pijplijn verwerkt een ParameterInput (naam, beschrijving, eenheid, domeincontext en fysieke grenzen) door de volgende stadia:

1. Verrijking & Validatiecontrole:

   • Het systeem probeert de parameter eerst te herkennen. Als de LLM de naam niet herkent of bepaalt dat de grootheid niet-empirisch is (bijv. een latente variabele), activeert het een Early-Skip mechanisme.
   • Dit omzeilt de dure zoek- en extractiefases (bespaart 80–95% van de runtime) en classificeert de aanvraag als Likely_Invalid of Suspicious, waardoor de generatie van ongegronde priors wordt voorkomen.

2. Progressieve Zoekstrategie:

   • Scope Planning: Een node classificeert de specificiteit van de aanvraag (hoog, medium, laag) om de initiële zoekbreedte te bepalen (strikt, gemengd of breed).
   • Parallelle Zoekopdracht: Het systeem bevraagt Semantic Scholar en OpenAlex parallel voor open-access papers. Optionele agents kunnen diepe webzoekopdrachten uitvoeren, waarbij resultaten worden kruisgecontroleerd om gehallucineerde citaties te voorkomen.
   • Domeinverbreding (Loop B): Als de initiële strikte zoekopdracht onvoldoende relevante waarden oplevert, verbreedt het systeem automatisch de zoekscope (bijv. van "maïs in Centraal-Europa" naar "maïs wereldwijd") en voert de zoekopdracht opnieuw uit, waarbij bewijs wordt geaccumuleerd in plaats van de vorige resultaten weg te gooien.

3. Full-Text Retrieval & Extractie:

   • Gelaagde Fetching: Het systeem probeert volledige teksten op te halen via een cascade van bronnen (URL-resolvers, open-access spiegels, DOI-converters) voordat het terugvalt op een zware, opt-in stealth browser (Camoufox) voor betaalde content.
   • Structuurbehoud: PDF's worden geconverteerd naar Markdown om tabelstructuren te behouden, zodat numerieke waarden met hun bijbehorende eenheden en rij-/kolomlabels intact worden geëxtraheerd.
   • Extractie: De LLM extraheert numerieke waarden uit de volledige tekst.

4. Relevantie-bewuste Synthese:

   • Relevantie Beoordeling: Elke geëxtraheerde waarde wordt door een LLM gescoord op domeinrelevantie (Hoog, Medium, Laag).
   • Kwaliteitscontrole: De pijplijn evalueert de hoeveelheid en kwaliteit van de geëxtraheerde waarden. Als het bewijs dun is, triggert het Search Refinement (Loop A) of Extraction Refinement (Loop C) om betere data te vinden.
   • Distributie Fitting:
     • ≥5 Waarden: Past vijf kandidaat-distributies aan (Normaal, Afgekappde Normaal, Gamma, Log-Normaal, Beta) en selecteert de beste via de Akaike Information Criterion (AIC).
     • 2–4 Waarden: Gebruikt moment matching met een verbreed standaarddeviatie om overfitting te voorkomen.
     • 1 Waarde: Centreert een Afgekappde Normale distributie op de waarde met onzekerheid afgeleid van de bron.
     • 0 Waarden: Valt terug op een brede, oninformatieve Afgekappde Normale distributie.
   • Weging: Waarden worden gewogen op basis van steekproefomvang en relevantiescore (Hoog=1.0, Medium=0.6, Laag=0.25).

5. Output & Provenance:

   • Het systeem geeft een PipelineResult uit met de gefitte distributie, betrouwbaarheidsniveau en een volledige provenance chain (zoekopdrachten, opgehaalde papers, geëxtraheerde waarden en de rationale achter de fitting).
   • Formaten zijn JSON, uitvoerbare Python (SciPy) en R-scripts.

2.2 Technische Beperkingen

• Lokale Executie: Alle LLM-aanroepen gebruiken open-weight modellen (Qwen3.6 27B, Gemma 4 31B, Mistral Small 4 119B) die gekwantiseerd zijn voor lokale GPU-executie (bijv. NVIDIA H100).
• Budgetcontrole: Een IterationBudget beperkt het totaal aantal LLM-aanroepen (standaard 30) om afsluiting te garanderen.
• Reproduceerbaarheid: Vaste seeds en taakspecifieke temperatuurinstellingen zorgen voor deterministische outputs voor dezelfde input.

3. Belangrijkste Bijdragen

1. Geautomatiseerde Literatuur-geïnformeerde Priors: Distribird is een systeem dat de volledige pijplijn van parameterbeschrijving tot een gefitte waarschijnlijkheidsdistributie automatiseert met behulp van wetenschappelijke literatuur, specifiek gericht op procesgebaseerde modellen.
2. Validatie Guardrails: In tegen tegenstelling tot standaard LLMs, detecteert Distribird expliciet en wijst het buiten bereik liggende verzoeken af (typefouten, niet-empirische parameters) via een early-skip mechanisme en een finale validatieclassificatie, waardoor de generatie van "zelfverzekerde maar ongegronde" priors wordt voorkomen.
3. Volledige Provenance: Elke prior is traceerbaar naar specifieke papers en geëxtraheerde waarden. Het systeem exporteert een volledige audit trail, wat de "black box"-aard van LLM-gegenereerde wetenschap aanpakt.
4. Lokale, Privacy-bewarende Operatie: De volledige workflow draait op lokale hardware met open-weight modellen, waardoor wordt gegarandeerd dat ongepubliceerde modelleringsdetails nooit naar externe AI-providers worden verzonden.
5. Progressieve Zoeklogica: Het systeem past de zoekbreedte dynamisch aan op basis van het initiële bewijs, waarbij een balans wordt gevonden tussen specificiteit en het vinden van voldoende data.

4. Evaluatieresultaten

De auteurs hebben Distribird geëvalueerd op 24 parameters over tien wetenschappelijke domeinen met behulp van drie lokale open-weight modellen, waarbij de volledige pijplijn werd vergeleken met een single-prompt LLM baseline (een directe aanvraag voor een prior zonder literatuuronderzoek).

• Prior Kwaliteit (Nauwkeurigheid): De volledige pijplijn overeenkwam met de single-prompt baseline wat betreft de nauwkeurigheid van de punt-schatting, maar was niet superieur. De auteurs merken op dat dit verwacht is, aangezien beide methoden uiteindelijk vertrouwen op dezelfde onderliggende kennisbron (de trainingsdata van de LLM versus de literatuur die het ophaalt).
• Robuustheid tegen Hallucinatie: De volledige pijplijn weigerde succesvol priors te produceren voor alle vijf buiten bereik liggende testparameters (gefabriceerd of niet-empirisch). In contrast hiermee genereerde de single-prompt baseline zelfverzekerde, ongegronde priors voor deze parameters in 11 van de 30 model-parameter gevallen.
• Traceerbaarheid: Elke door Distribird geproduceerde prior was gekoppeld aan specifieke bronnen, terwijl de baseline priors retourneerde zonder traceerbare basis.
• Lokale Operatie: Het systeem draaide succesvol volledig op lokale hardware zonder gevoelige gegevens te verzenden.

5. Betekenis en Claims

Het artikel stelt dat voor wetenschappelijke workflows provenance, robuustheid tegen fabricage en gegevensprivacy crucialer zijn dan marginale verbeteringen in de nauwkeurigheid van de punt-schatting.

Distribird claimt niet een "slimmere" estimator te zijn dan een goed geprompt LLM. In plaats daarvan claimt het een betrouwbaar instrument te zijn. De betekenis ligt in het schaalbaar, controleerbaar, veilig en privaat maken van de constructie van literatuur-geïnformeerde priors:

• Schaalbaar: Het automatiseren van een proces dat voorheen dagen van handmatig lezen vereiste.
• Controleerbaar: Het bieden van een verdedigbare keten van bewijs voor elke prior.
• Veilig: Het voorkomen van het gebruik van priors voor parameters die geen empirische ondersteuning hebben.
• Privaat: Het mogelijk maken van het gebruik van propriëtaire of ongepubliceerde modeldetails zonder deze bloot te stellen aan externe AI-providers.

De auteurs concluderen dat deze eigenschappen Distribird geschikt maken voor serieus wetenschappelijk werk, waarbij het vermogen om een prior te verifiëren en te verdedigen een voorwaarde is voor het gebruik ervan.