Technische Samenvatting: SkeMex – Ervaring Maakt Bekwaamheid

1. Probleemstelling

Het paper identificeert een kritieke kloof in de inzet van medische Large Language Model (LLM) agenten. Hoewel huidige medische LLM's uitblinken in statische, single-turn vraagbeantwoording (bijv. MedQA, MedMCQA), is klinische besluitvorming in de echte wereld dynamisch, stapsgewijs en vereist het continue interactie, bewijsvoering en hypothese-revisie.

Bestaande geheugen-geaugmenteerde agenten proberen dit aan te pakken door eerdere interacties op te slaan, maar lijden onder drie primaire beperkingen:

1. Redundantie en Ruis: Ze bewaren vaak ruwe historische sporen (volledige trajecten) die ruisachtig, instantie-specifiek en moeilijk te beheersen zijn, wat leidt tot een accumulatie van redundante informatie.
2. Gebrek aan Nut-bewustzijn: Ze maken zelden onderscheid tussen welke herinneringen werkelijk nuttig zijn voor toekomstige redenering. Herinneringen van lage kwaliteit of schadelijke inhoud accumuleren in de loop van de tijd, wat de prestaties verslechtert.
3. Kostbare Adaptatie: Veel state-of-the-art methoden koppelen verbetering van het geheugen aan policy-training of zelf-distillatie, wat parameter-updates vereist. Dit is computationeel duur en brengt risico's met zich mee zoals catastrofale vergetelheid of zwakke transfer tussen domeinen.

De kernuitdaging is het in staat stellen van medische agenten om compacte, betrouwbare en herbruikbare ervaring te accumuleren zonder de gewichten van het backbone-model aan te passen, om zo langdurige klinische redenering in een post-deployment setting te ondersteunen.

2. Methodologie: SkeMex

De auteurs stellen SkeMex voor, een post-deployment self-evolution framework dat medische agenten verbetert via een vaardigheidsgebaseerd geheugen zonder de modelgewichten bij te werken. SkeMex behandelt interactie-trajecten als bronnen van herbruikbare ervaring, door deze te distilleren tot gestructureerde "vaardigheden" (skills) die actiegerichte redeneer- en besluitvormingsprocedures coderen.

Kerncomponenten

Het framework werkt op een Memory-based Markov Decision Process (M-MDP) en volgt een gesloten "Read–Write–Assess–Govern" levenscyclus:

• Multi-Branch Skill Repository:
  In plaats van ruwe trajecten op te slaan, organiseert SkeMex gedistilleerde vaardigheden in drie hiërarchische takken om abstractieniveaus te scheiden:

  • General Branch ($M^{gen}$): Slaat overdraagbare redeneerstrategieën en brede klinische principes op.
  • Task-Level Branch ($M^{task}$): Legt patronen vast die verbonden zijn aan specifieke taakfamilies (bijv. differentiële diagnose, behandelplanning).
  • Action-Level Branch ($M^{act}$): Registreert operationele kennis voor het gebruik van tools (bijv. parameterformattering, specifieke tool-invocatie).

• Read: Value-Aware Retrieval:
  Bij de start van een episode haalt de agent vaardigheden op op basis van zowel semantische relevantie als context-afhankelijke utiliteit. De retrieval-score combineert:

  • Semantische gelijkenis met de huidige query.
  • Historische utiliteit, geschat op basis van feedback uit de omgeving binnen de specifieke klinische categorie.
  • Geheugensterkte (temporele afname op basis van de Ebbinghaus-vergetelheidscurve).
    Dit zorgt ervoor dat alleen hoogwaardige, context-relevante vaardigheden in de prompt van de agent worden geïnjecteerd.

• Write: Trajectory-to-Skill Distillation:
  Niet alle interacties worden naar het geheugen geschreven. Een gated trajectory buffer filtert infrastructurele fouten, mechanische repetities en triviale successen eruit. Alleen informatieve trajecten (bijv. die de oorzaken van misdiagnose of succesvolle meerstaps-redenering onthullen) worden behouden.

  • Two-Pass Distillation: Een analyse-pass extraheert herbruikbare patronen en bepaalt de intentie (CREATE, PATCH, of NONE). Een mutatie-pass genereert vervolgens een nieuw concept voor een vaardigheid of werkt een bestaande vaardigheid bij.
  • Review Gates: Concepten ondergaan controle op nieuwheid en kwaliteit om redundantie te voorkomen en te garanderen dat ze concrete situationele triggers en stappen bevatten in plaats van vage principes.

• Assess: Utility-Driven Valuation:
  Vaardigheden zijn niet statisch; hun waarde wordt continu geëvalueerd. SkeMex gebruikt window-level valuation om feedback over meerdere trajecten te aggregeren.

  • Advantage Estimation: Utiliteit wordt bijgewerkt op basis van het relatieve voordeel van een traject ($A_\tau = r_\tau - \bar{r}$) in plaats van absolute beloning, wat zorgt voor een eerlijke credit assignment over taken met variërende moeilijkheidsgraden.
  • Credit Assignment: Positieve adoptie verhoogt de utiliteit; schadelijke adoptie verlaagt deze. Een risicosensitieve regularisator ontmoedigt hoog-utilitaire vaardigheden om onveilige gedragingen te accumuleren.

• Govern: Closed-Loop Repository Maintenance:
  Periodiek beheert een governance-operator het repository om compactheid en betrouwbaarheid te waarborgen:

  • Merge: Combineert zeer gelijkaardige vaardigheden.
  • Deprecate: Verwijdert vaardigheden met een lage utiliteit of schadelijke inhoud.
  • Promote: Verhoogt consistent effectieve vaardigheden naar de status van "volwassen" (mature).
  • Capacity Control: Handhaaft limieten op de grootte van de takken om ongecontroleerde groei te voorkomen.

3. Belangrijkste Bijdragen

1. SkeMex Framework: Een nieuw post-deployment self-evolution framework dat medische agenten in staat stelt te verbeteren via vaardigheidsgebaseerd geheugen zonder de modelgewichten bij te werken, waardoor de evolutie van het geheugen wordt ontkoppeld van policy-training.
2. Non-Parametrische Versterking: Formuleert de evolutie van skill-geheugen als een niet-parametrisch proces waarbij klinische feedback dient als beloningssignaal om context-afhankelijke utiliteit te schatten, wat zowel retrieval als repository-governance stuurt.
3. Read-Write-Assess-Govern Levenscyclus: Introduceert een gesloten mechanisme dat trajecten omzet in herbruikbare vaardigheden en een goed beheerd geheugen-repository onderhoudt via iteratieve filtering, distillatie, waardering en pruning.
4. Plug-and-Play Generalisatie: Toont aan dat SkeMex een modulair framework is dat consistent de prestaties verbetert over diverse klinische taken, effectief generaliseert over verschillende model-backbones en ondersteuning biedt voor overdraagbare skill-geheugens in heterogene taaksettings.

4. Experimentele Resultaten

De auteurs evalueerden SkeMex op negen diverse medische benchmarks, inclusief interactieve klinische omgevingen (AgentClinic, LiveClin), kennisintensieve redenering (MedXpertQA, MMMU) en rubric-gebaseerde evaluatie (HealthBench, LiveMedBench).

• Offline Prestaties: SkeMex presteerde consequent beter dan representatieve geheugen-gebaseerde agenten en geheugen-vrije baselines.

  • Met de DeepSeek-V3.2 backbone verbeterde SkeMex de gemiddelde score van 48,20% (ReAct) naar 56,08% (+7,88 punten), waarmee het de sterkste niet-SkeMex geheugen-baseline met 3,84 punten versloeg.
  • Met de Qwen3.6-Plus backbone verbeterde het van 48,63% naar 59,22% (+10,59 punten).
  • In out-of-domain (OOD) settings toonde SkeMex superieure overdraagbaarheid, met een winst van +13,78 punten ten opzichte van ReAct, waarmee het andere geheugenmethoden aanzienlijk versloeg die vaak last hadden van negatieve transfer.

• Online Prestaties: In streaming taaksettings waarbij het repository tijdens interactie wordt bijgewerkt, vertoonde SkeMex een stabiele, continue verbetering van epoch 1 tot epoch 3, terwijl verschillende baselines achteruitgingen na geheugen-updates.

• Ablatie-studies:

  • Buffer Management: Het verwijderen van de gating-mechanisme (het filteren van ruisende trajecten) veroorzaakte de grootste daling in prestaties, wat de noodzaak van selectieve traject-retentie bevestigt.
    {% endblock %}
  • Multi-Branch Structure: De volledige drie-takken structuur (General, Task, Action) presteerde aanzienlijk beter dan single-branch of twee-takken varianten, wat het belang benadrukt van gescheiden abstractieniveaus.
  • Utility Valuation: Het verwijderen van categorie-bewuste beloningsnormalisatie of harm-clamping leidde tot significante prestatieverslechtering, wat de belangrijkheid van context-afhankelijke utiliteitschatting valideert.

• Cross-Backbone Transfer: Vaardigheden gedestilleerd met DeepSeek-V3.2 verbeterden succesvol de prestaties wanneer ze werden toegepast op andere backbones (Qwen3.6-Max, Kimi-2.6, GLM-5.1), wat aantoont dat de geleerde vaardigheden overdraagbare procedurele kennis vastleggen in plaats van model-specifieke patronen.

5. Betekenis en Claims

Het paper claimt dat SkeMex een schaalbare stap is richting medische agenten die kunnen rijpen door voortdurende klinische ervaring. Door ruwe interactiegeschiedenissen te transformeren naar een evoluerend, beheerd geheugen van gestructureerde vaardigheden, maakt SkeMex het volgende mogelijk:

• Ervaringsgestuurde Leren: Agenten kunnen betrouwbare ervaring accumuleren en hergebruiken zonder de computationele kosten en risico's die gepaard gaan met het finetunen van modelgewichten.
• Robuuste Generalisatie: De gestructureerde vaardigheidsabstractie en utiliteit-gestuurde retrieval verminderen negatieve transfer, waardoor agenten zich kunnen aanpassen aan onbekende klinische scenario's en diverse model-backbones.
• Betrouwbaarheid: De closed-loop governance zorgt ervoor dat het geheugen compact, selectief en klinisch betrouwbaar blijft, door over de tijd heen schadelijke of redundante entries te filteren.

De auteurs positioneren SkeMex niet als een vervanging voor professioneel medisch oordeel, maar als een beslissingsondersteunend instrument dat de consistentie en betrouwbaarheid van medische redeneersystemen verhoogt door gebruik te maken van geaccumuleerde, gedestilleerde ervaring.