PrefPaint: Enhancing Medical Image Inpainting through Expert Human Feedback

Probleemstelling

Het paper adresseert een kritiek maar onderbelicht probleem in de medische beeldvorming: het genereren van anatomisch accurate synthetische polyp-afbeeldingen voor klinische AI-toepassingen. Hoewel inpainting (het invullen van ontbrekende of beschadigde delen van een afbeelding) breed wordt toegepast, falen bestaande generatieve modellen vaak in gespecialiseerde domeinen zoals gastro-enterologie.

• De uitdaging: Zonder expert-validatie leren modellen vaak onjuiste anatomische patronen, wat leidt tot valse patronen en significante fouten in downstream-diagnoses (bijv. het missen van poliepen die precursors zijn voor darmkanker).
• Beperkingen van bestaande methoden: Traditionele Reinforcement Learning from Human Feedback (RLHF) vereist het trainen van een tussenliggende "reward model". Dit proces is computationally zeer intensief, vereist enorme datasets en is vaak te duur en tijdrovend voor klinische instellingen met beperkte rekenkracht.

Methodologie: PrefPaint

De auteurs stellen PrefPaint voor, een interactief systeem dat expert-menselijke feedback direct integreert in het fine-tuning-proces van Stable Diffusion Inpainting.

1. Kernalgoritme: D3PO in plaats van RLHF
In plaats van een duur reward model te trainen, gebruikt het systeem D3PO (Direct Preference Optimization, een variant van DPO).

• Werkingsprincipe: Het denoising-proces wordt gemodelleerd als een Multi-Step Markov Decision Process (MDP).
• Feedback-loop: Het model genereert twee afbeeldingen op basis van een prompt en een masker. Medische experts geven een binaire feedback ("goed" of "slecht") op welke afbeelding anatomisch correcter is.
• Directe optimalisatie: De modelparameters worden direct bijgewerkt op basis van deze binaire voorkeuren, zonder tussenkomst van een reward model. Dit elimineert de hoge rekenkosten en maakt het toepasbaar in resource-beperkte klinische omgevingen.

2. Interactief Webplatform en HCI
Om medische experts (die vaak geen IT-achtergrond hebben) te betrekken, hebben de auteurs een responsief webplatform ontwikkeld:

• Model Tree (Versiebeheer): Een innovatief HCI-concept dat de evolutionaire voortgang van het gefine-tuned model visualiseert als een hiërarchische boom. De wortel is het basismodel; takken vertegenwoordigen iteraties na feedback. Dit stelt artsen in staat de oorsprong en verbetering van het model te traceren.
• Workflow: Het platform ondersteunt onboarding, het verzamelen van binaire feedback (like/dislike), inference (inpainting van nieuwe beelden) en een taakmanager voor realtime statusupdates van asynchrone taken (zoals training die tot 20 minuten kan duren).
• Architectuur: Gebaseerd op Golang (SSR), PostgreSQL en een multi-threaded FIFO-wachtrij om de UI niet te blokkeren tijdens zware GPU-berekeningen.

Belangrijkste Bijdragen

1. Oplossing voor een onderbelicht probleem: Het bieden van een praktische, resource-efficiënte oplossing voor het genereren van synthetische polyp-afbeeldingen die anatomisch accuraat zijn voor klinische AI.
2. Innovatieve HCI: Introductie van een webgebaseerd interactief systeem met een unieke "Model Tree" interface die de evolutie van het model visualiseert voor medische professionals.
3. Efficiënte Training: Toepassing van D3PO om de complexiteit en kosten van RLHF te omzeilen, waardoor expert-feedback direct kan worden gebruikt voor modelverbetering.
4. Uitgebreide Validatie: Rigoureuze kwantitatieve en kwalitatieve evaluaties, inclusief een pilot study met medische experts, die aantonen dat de methode superieur is aan bestaande state-of-the-art methoden.

Resultaten

De methode werd getest op het Kvasir-SEG dataset (sessiele en pedunculate poliepen) en vergeleken met DreamBooth, Stable Diffusion Inpainting (SDi) en SD2i.

• Kwantitatieve Resultaten:
  • PrefPaint behaalde de beste scores op alle metrics voor zowel sessiele als pedunculate poliepen.
  • L1/L2 Error: Laagste foutmarges (bijv. L1 error van 0.0169 voor sessiele poliepen vs. 0.0267 bij SDi).
  • SSIM & PSNR: Hoogste structurele gelijkenis en signaal-ruisverhouding.
  • LPIPS: Laagste perceptuele afstand, wat wijst op hogere realisme.
• Kwalitatieve Resultaten:
  • Visuele vergelijkingen tonen aan dat PrefPaint minder structurele inconsistenties en mengartefacten produceert dan baselines. De overgangen zijn naadloos en anatomisch correct.
• User Study (Pilot):
  • Deelnemers: 28 deelnemers, waaronder 3 medische specialisten en studenten.
  • Scores: PrefPaint behaalde significant hogere Mean Opinion Scores (MOS) dan alle baselines op de criteria Alignment, Realism, Smoothness en Quality.
  • Expert Validatie: Medische artsen gaven PrefPaint de hoogste scores, zelfs onder strengere beoordelingscriteria dan niet-experts. Het model vermijdt succesvol de onnauwkeurige anatomische artefacten die bij standaard generatieve modellen voorkomen.
  • Gebruiksgemak: De webinterface werd zeer positief beoordeeld op gebruiksvriendelijkheid en aanpasbaarheid.

Betekenis en Impact

PrefPaint vormt een doorbraak in de integratie van menselijke expertise in generatieve AI voor de medische sector.

• Klinische Toepasbaarheid: Door de computatiekosten te verlagen (geen reward model) en een gebruiksvriendelijke interface te bieden, wordt het mogelijk voor ziekenhuizen met beperkte IT-begrotingen om hun eigen, op maat gemaakte generatieve modellen te trainen.
• Betrouwbaarheid: Het systeem garandeert dat synthetische trainingsdata klinisch valide is, wat essentieel is voor het trainen van robuuste detectiemodellen voor darmkanker.
• Toekomstperspectief: De aanpak opent de deur voor "Human-in-the-Loop" systemen in andere medische domeinen waar precisie en veiligheid cruciaal zijn, en demonstreert hoe HCI-ontwerp de kloof tussen complexe ML-workflows en eindgebruikers kan overbruggen.