Technische Samenvatting: MAM-AI

1. Probleemstelling

De moeder- en neonatale mortaliteit blijven kritiek hoog in sub-Sahara Afrika, met name in Zanzibar, waar verloskundige zorg vaak wordt verleend door verpleegkundigen die niet beschikken over training volgens internationale standaarden. Een primaire barrière voor veilige zorg is het gebrek aan gezaghebbende, op bewijs gebaseerde richtlijnen op het moment van zorgverlening. Bestaande richtlijnen zijn omvangrijk, en de afhankelijkheid van online zoekopdrachten is onbetrouwbaar vanwege intermitterende connectiviteit en hoge datakosten. De uitdaging is het bieden van een medische vraag-en-antwoordassistent die volledig offline werkt, draait op standaard Android-hardware, de privacy van patiëntgegevens waarborgt (geen queries verlaten het apparaat) en strikte veiligheidsnormen handhaaft.

2. Systeemontwerp en Methodologie

MAM-AI is een Retrieval-Augmented Generation (RAG) systeem dat volledig on-device is ontworpen. De pipeline bestaat uit vier stadia:

1. Embedding: Een klinische vraag van een gebruiker wordt ingebed met behulp van EmbeddingGemma-300M (768-dimensionaal, gekwantiseerd).
2. Retrieval: De embedding wordt gematcht met een lokale SQLite vector store die 63.650 passages bevat, afgeleid van 87 gecureerde klinische richtlijnendocumenten (WHO, NICE, ICM, nationale standaarden, etc.). De top-3 passages worden geselecteerd.
3. Augmentation: De opgehaalde passages worden samen met de query in de prompt geïnjecteerd.
4. Generatie: Een on-device Gemma 4 E4B model (3,66 GB, int4-gekwantiseerd) genereert een gestreamd antwoord met inline citaties naar de bronpassages.

Belangrijke beperkingen & configuraties:

• Offline Werking: Er is geen internetverbinding vereist na de initiële eenmalige installatie (download van model en corpus).
• Veiligheid Voorop: Het systeem wordt expliciet gedefinieerd als een "grondig geëvalueerd onderzoeksprototype", niet als een operationeel product.
• Prompt Engineering: Een herontworpen systeemprompt (G1) werd ontwikkeld om modeldeflectie (weigeren te antwoorden) aan te pakken, waarbij het model wordt gedwongen eerst de eerstelijnsbehandeling voor te stellen voordat een verwijzing wordt gesuggereerd.
• Evaluatiekader: De auteurs hanteren een gelaagde, bottom-up methodologie waarbij het end-to-end systeem, de retriever in isolatie, de generator in isolatie (onder oracle context) en latentie worden geëvalueerd. Evaluatie vindt plaats met behulp van een gevalideerde LLM-judge (gpt-oss-120b) gekalibreerd tegen door artsen geschreven rubrieken.

3. Belangrijkste Bijdragen

• Inzetbare On-Device RAG: Een volledig offline medische assistent die draait op standaard Android-hardware, gebruikmakend van open-source modellen (Gemma) en een gecureerde kennisbank.
• Gelaagde Evaluatie: Een uitgebreide evaluatiesuite (end-to-end, retriever, generator, latentie) toegepast op de exacte uitgevoerde configuratie, die aantoont dat het "moeilijke probleem" is verschoven van retrieval naar grounding van de generator.
• Veiligheidsgestuurde Modelselectie: Een demonstratie dat in veiligheidskritische omgevingen met beperkte middelen, getrouwheid (faithfulness) aan bronnen een belangrijkere selectiecriterium is dan ruwe capaciteit. De auteurs kozen een minder "behulpzaam" maar getrouwer model (Gemma 4) boven een krachtiger maar foutgevoeliger model (Gemma 3n).
• Open-Source Release: Het systeem, de kennisbank-pipeline, benchmarks (mamabench, mamaretrieval) en de evaluatieharnas worden als open source vrijgegeven.

4. Belangrijkste Resultaten en Bevindingen

A. De Prompt is een Belangrijke Hefboom

Het baseline Gemma 4-model weigerde te antwoorden op ~33% van de vragen (antwoordde "raad een arts"). De herontworpen G1-prompt verminderde deflectie tot ~3% en verdubbelde de recall van kernfeiten, met een verwaarloosbare toename van onveilige antwoorden. Dit was de grootste end-to-end winst die werd waargenomen.

B. On-Device Retrieval is Opgelost

De EmbeddingGemma-300M retriever presteert competitief met cloudsystemen, waarbij hij derde werd van de zeven geteste retrievers en wedijvert met de beste cloud-embedders.

• Bevinding: Het verbeteren van de retrieval (bijv. het vervangen van Gecko door EmbeddingGemma of het toevoegen van een reranker) verbetert de end-to-end antwoordkwaliteit niet op de kleine generator. Sterker nog, het toevoegen van opgehaalde context aan de kleine generator is vaak netto-neutraal of licht negatief.
• Reden: De kleine generator slaagt er niet in de opgehaalde context effectief te gebruiken. De "breuk" in de pipeline zit downstream in het vermogen van de generator om antwoorden te funderen (grounding), niet in de retrieval van de informatie.

C. Generator Capaciteit vs. Getrouwheid

• Capaciteit: De kwaliteit stijgt steil met de modelgrootte (tot ~30B), waarbij een 30B servermodel de 4B on-device model aanzienlijk overtreft. Echter, de 4B is de limiet voor on-device implementatie.
• Veiligheidstermijn: Tussen twee kandidaten van gelijke grootte (Gemma 4 vs. Gemma 3n), was Gemma 3n behulpzamer (hogere recall) maar produceerde aanzienlijk meer gevaarlijke fouten (zelfverzekerde, specifieke, maar foutieve dosering en contra-indicatie adviezen). Gemma 4 was ongeveer twee keer zo getrouw aan zijn bronnen en produceerde effectief nul echte gevaarlijke antwoorden.
• Besluit: Het systeem implementeert Gemma 4 (het getrouwe model) en herstelt behulpzaamheid via prompt engineering, in plaats van een krachtiger maar onveilig model zoals Gemma 3n te implementeren.

D. Kwaliteit van het Corpus is Beslissend

Omdat het kleine model sterk leunt op de opgehaalde context, is de kwaliteit van het corpus van cruciaal belang.

• Als het corpus de specifieke, actiegerichte passage bevat, is het antwoord specifiek en veilig.
• Als de retrieval alleen definities of studie-oefeningen ophaalt (door de formulering van de query), wordt het antwoord vaag.
• Dekking: Het corpus dekt ~96,5% van de queries bij een milde drempelwaarde, maar ~10,6% van de queries mist een relevante chunk volledig, wat een hard plafond vormt voor retrieval-only oplossingen.

E. Latentie en Hardware

• Prestaties: Op een flagship-apparaat (Snapdragon 8 Elite) geeft het systeem een antwoord terug in een mediaan van ~43s op CPU en ~19s op GPU (opt-in).
• Beperkingen: De bindende factor is geheugen (RAM), niet snelheid. Het systeem vereist ~6GB RAM voor het 4B-model.
• Precisie Bug: Er treedt een deterministische FP16 attention collapse op bij GPU-backends voorbij ~5.000 tokens context, wat een limiet van 4.096 tokens noodzakelijk maakt voor het GPU-pad.

5. Betekenis en Claims

Het artikel beweert dat MAM-AI aantoont dat een volledig offline, bron-geciteerde medische assistent haalbaar is op standaard hardware. De primaire betekenis ligt in het verplaatsen van het moeilijke probleem:

1. Retrieval is niet de bottleneck: On-device embedding is voldoende om relevante passages te vinden.
2. Grounding is de bottleneck: Het onvermogen van de kleine generator om opgehaalde context effectief te gebruiken, is de limiterende factor.
3. Getrouwheid boven Capaciteit: In medische veiligheidscontexten is het kiezen van een model op basis van de getrouwheid aan bronnen (zelfs als het minder capabel is) superieur aan het kiezen van een krachtiger model dat hallucineert.

De auteurs benadrukken dat MAM-AI een onderzoeksprototype is, geen klinisch product. Ze geven expliciet aan dat er geen veldtesten met echte verpleegkundigen zijn uitgevoerd en dat alle veiligheids- en kwaliteitsmetingen zijn afgeleid van LLM-judges en benchmarks. De weg naar implementatie vereist verdere arbeid op het gebied van generator grounding (fine-tuning), corpus expansie, query herschrijven en Swahili taalondersteuning.