Technische Samenvatting: HealthSLM-Bench

Probleemstelling

Mobiele en draagbare gezondheidsmonitoring biedt aanzienlijk potentieel voor real-time interventie en het beheer van chronische ziekten. Hoewel Large Language Models (LLMs) een sterke generalisatie hebben getoond bij het verwerken van heterogene gezondheidsgegevens, wordt hun praktische inzet op edge-apparaten gehinderd door drie primaire beperkingen:

1. Privacy en Beveiliging: Huidige oplossingen vertrouwen op cloud-gebaseerde inferentie, wat de transmissie van gevoelige persoonlijke gezondheidsgegevens naar externe servers vereist.
2. Latentie: Afhankelijkheid van de cloud introduceert communicatievertragingen die incompatibel zijn met real-time gezondheidstoepassingen.
3. Resourcebeperkingen: Hardware voor mobiele en draagbare apparaten heeft een beperkt geheugen, batterijduur en rekenkracht, waardoor volledige LLMs onhaalbaar zijn voor on-device uitvoering.

Hoewel Small Language Models (SLMs) een lichtgewicht alternatief bieden voor lokale inferentie, blijft hun effectiviteit bij het interpreteren van complexe sensordata voor specifieke gezondheidsvoorspellings-taken grotendeels onverkend. Er is een gebrek aan uitgebreide benchmarks die SLMs evalueren tegenover SOTA LLMs over diverse gezondheidsscenario's, met name wat betreft hun prestaties onder zero-shot, few-shot en fine-tuned condities, evenals hun real-world efficiëntie op mobiele hardware.

Methodologie

De auteurs introduceren HealthSLM-Bench, een systematische benchmark die negen state-of-the-art SLMs (variërend van 1B tot 4B parameters) evalueert tegenover SOTA LLMs over acht gezondheidsvoorspellings-taken met behulp van drie publiekelijk beschikbare datasets: PMData, GLOBEM en AW-FB.

Experimentele Opstelling

• Datasets: De studie maakt gebruik van uit sensoren afgeleide kenmerken (stappen, calorieën, hartslag, slaapmetingen) geformatteerd in 1ers-daagse vensters. De taken omvatten classificatie (stress, paraatheid, vermoeidheid, slaapkwaliteit, angst, depressie, activiteit) en regressie (calorie-inschatting).
• Geëvalueerde Modellen:
  • SLMs: Gemma-2-2B-it, Phi-3-mini-4k, Phi-3.5-mini, SmolLM-1.7B, Qwen2-1.5B, Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, en Llama-3.2-3B.
  • LLMs (Baselines): MedAlpaca, PMC-Llama, Asclepius, ClinicalCamel, Flan-T5, Palmyra-Med, Llama 2, BioMedGPT, BioMistral, GPT-3.5, GPT-4, en Gemini-Pro.
• Evaluatieprotocollen:
  1. Zero-Shot (ZS): Modellen ontvangen alleen taakinstructies en samenvattingen van sensordata zonder voorafgaande voorbeelden.
  2. Few-Shot (FS): Modellen worden voorzien van $N$ gelabelde voorbeelden ($N \in \{1, 3, 5, 10\}$) om gebruik te maken van in-context leren. Chain-of-thought en self-consistency werden weggelaten om on-device efficiëntie te waarborgen.
  3. Instruction Fine-Tuning: Modellen werden aangepast met behulp van Low-Rank Adaptation (LoRA) op gezondheidsspecifieke instructie-respons paren geformatteerd in de Alpaca-stijl.
• Deployment & Efficiëntie: De best presterende fine-tuned SLMs werden gedeployed op een iPhone 15 Pro Max (8GB RAM) met behulp van het GGUF-formaat en 4-bit kwantisatie via Llama.cpp. Efficiëntie werd gemeten via Time-to-First-Token (TTFT), tokens per seconde (ITPS/OTPS), totale inferentietijd, CPU-gebruik en RAM-consumptie.

Belangrijkste Bijdragen

1. HealthSLM-Bench: De eerste uitgebreide benchmark die systematisch negen SOTA SLMs evalueert op acht gezondheidsvoorspellings-taken over drie real-world mobiele/draagbare datasets.
2. Uitgebreide Adaptatieanalyse: Een gedetailleerde prestatievergelijking over zero-shot, few-shot en instructie-tuning paradigma's, die onthult hoe verschillende adaptatiestrategieën de impact hebben op gezondheidsspecifieke taken.
3. Kwantificering van Real-World Efficiëntie: Empirisch bewijs van het deployen van fine-tuned SLMs op middelen-beperkte mobiele apparaten, waarbij geheugensporen en latentiereducties worden gekwantificeerd ten opzichte van grotere LLM backbones.

Resultaten

Prestatievergelijking

• Zero-Shot: SLMs behaalden prestaties die vergelijkbaar met of beter dan LLMs waren in de meeste taken. Specifiek vertoonden SLMs een lagere Mean Absolute Error (MAE) in stressvoorspelling (0.61 vs. 0.64 voor LLMs) en voorspelling van paraatheid/vermoeidheid. Echter, SLMs hadden moeite met calorie-inschatting (regressie), waarbij ze een aanzienlijk hogere MAE lieten zien (143.23) vergeleken met LLMs (47.60).
• Few-Shot: SLMs vertoonden competitieve prestaties met slechts één voorbeeld (FS-1). De prestaties stabiliseerden over het algemeen of verbeterden met meer voorbeelden (tot FS-10). De studie observeerde een "instortingspatroon" in specifieke taken (stress, vermoeidheid, slaapkwaliteit) bij lage shot-aantallen (FS-1, FS-3, FS-5) door beperkte labelrepresentatie, wat werd gemitigeerd bij FS-10.
• Instruction Tuning: Na LoRA fine-tuning presteerden SLMs significant beter dan LLMs in vermoeidheid en calorie-inschatting taken. Hoewel LLMs een lichte voorsprong behielden in stress-, paraatheid- en activiteitsvoorspelling, waren de verschillen bescheiden. SLMs zoals TinyLlama-1.1B en Phi-3-mini-4k toonden consistente kracht over meerdere taken.
• Beperkingen: SLMs vertoonden een bias door klasse-onbalans, waarbij ze vaak alleen de meerderheidsklassen voorspelden in taken met scheve distributies (bijv. angst, activiteit), wat leidde tot suboptimale prestaties. Data-augmentatie (oversampling) verbeterde de labeldekking, maar loste de prestatiekloof niet volledig op.

Deployment Efficiëntie

Op de iPhone 15 Pro Max vertoonden SLMs substantiële efficiëntiewinsten ten opzichte van de Llama-2-7b baseline:

• Latentie: TinyLlama-1.1B bereikte een 21× snellere Time-to-First-Token (TTFT) en een 79× snellere Output Evaluation Time (OET) vergeleken met Llama-2-7b.
• Doorvoersnelheid: SLMs verwerkten input tokens aanzienlijk sneller (bijv. +2.000% ITPS voor TinyLlama-1.1B).
• Geheugen: SLMs verminderden het RAM-gebruik met 9% (Phi-3-mini-4k) tot 28% (TinyLlama-1.1B) vergeleken met de 7B parameter baseline.

Betekenis en Claims

Het paper stelt dat SLMs een veelbelovende, zij het imperfecte, oplossing vormen voor de volgende generatie, privacy-bewuste gezondheidsmonitoring. De auteurs beweren dat:

• SLMs prestaties kunnen bereiken die vergelijkbaar zijn met SOTA LLMs, terwijl ze substantiële winsten in efficiëntie en privacy bieden door lokale, on-device inferentie mogelijk te maken.
• Met de juiste instructie-tuning SLMs kunnen overtreffen in specifieke kritieke taken zoals vermoeidheid en calorie-inschatting.
• Ondanks de huidige beperkingen in het omgaan met klasse-onbalans en few-shot scenario's, zijn SLMs levensvatbaar voor real-time mobiele gezondheidstoepassingen waar resourcebeperkingen en gegevensprivacy van cruciaal belang zijn.

De studie concludeert dat hoewel er uitdagingen blijven bestaan — met name wat betreft robuust prompt-ontwerp voor few-shot learning en onbalans-bewuste trainingsstrategieën — HealthSLM-Bench een fundament legt voor het ontwikkelen van efficiënte, edge-deploybare gezondheids-AI systemen.