Resolution scaling governs DINOv3 transfer performance in chest radiograph classification

Technische Samenvatting: Resolutie-schaling bepaalt de transferprestaties van DINOv3 bij classificatie van borstkasradiografieën

1. Probleemstelling

Hoewel Self-Supervised Learning (SSL) de visuele representatieleer aanzienlijk heeft verbeterd, is de effectiviteit ervan voor medische beeldvorming, specifiek voor borstkasradiografieën (X-thorax), nog onduidelijk. Een groot probleem in de radiologie is de mismatch tussen natuurlijke beelden (waarop modellen vaak worden voorgetraind) en medische beelden, evenals de afhankelijkheid van kostbare handmatige annotaties. Recentelijk is DINOv3 geïntroduceerd, een model dat gebruikmaakt van Gram-anchored self-distillation en expliciete adaptatie voor hoge resoluties. Het is echter onbekend of deze verbeteringen zich vertalen naar betere prestaties bij het classificeren van pathologieën op röntgenfoto's, en onder welke specifieke condities (resolutie, patiëntpopulatie, architectuur) dit gebeurt.

2. Methodologie

De onderzoekers voerden een grootschalige benchmark uit met 816.183 radiografieën afkomstig uit zeven verschillende datasets (zowel publiek als intern), variërend van pediatrische tot volwassen cohorten.

• Vergelijking: DINOv3 werd vergeleken met DINOv2 en supervised ImageNet-initialisatie.
• Architecturen: Er werden twee backbone-families getest: ViT-B/16 (Transformer-gebaseerd) en ConvNeXt-B (Convolutioneel).
• Variabelen:
  • Resolutie: Testen op $224 \times 224$, $512 \times 512$ en $1024 \times 1024$ pixels.
  • Adaptatie: Volledige fine-tuning versus parameter-efficiënte adaptatie via LoRA (Low-Rank Adaptation).
  • Robuustheid: Analyse van prestaties onder synthetische label-ruis (corruptie).
  • Schaal: Vergelijking van bevroren (frozen) 7B-parameter DINOv3-features met aangepaste mid-sized modellen.
  • Validatie: Externe validatie op onafhankelijke datasets om generalisatie te testen.

3. Belangrijkste Bijdragen

• Identificatie van het optimale werkpunt: Het onderzoek bepaalt dat de voordelen van DINOv3 sterk afhankelijk zijn van de resolutie en de populatie.
• Architecturale inzichten: Het toont aan dat convolutionele backbones (ConvNeXt-B) superieur blijven aan Transformers (ViT) voor deze specifieke medische taak, zelfs bij parameter-efficiënte adaptatie.
• Kritische analyse van schaling: Het weerlegt de aanname dat "groter en hoger resolutie altijd beter is" door de enorme computationele kosten af te wegen tegen de minimale winst bij $1024 \times 1024$ pixels.
• Grensvoorwaarden: Het biedt inzicht in waarom pediatrische data anders reageert op SSL-transfer dan volwassen data.

4. Resultaten

• Resolutie en DINOv3: Bij volwassen cohorten presteert DINOv3 niet consistent beter dan DINOv2 op $224 \times 224$ pixels, maar wordt het de sterkste initialisatie op $512 \times 512$ pixels, vooral in combinatie met ConvNeXt-B. De winst is het grootst bij kleine, focale afwijkingen en afwijkingen die afhankelijk zijn van scherpe grenzen.
• Pediatrische cohorten: In tegenstelling tot volwassenen vertoonden pediatrische patiënten geen significant voordeel van DINOv3, hogere resoluties of specifieke backbone-keuzes.
• Diminishing returns bij $1024 \times 1024$: Schalen naar $1024 \times 1024$ pixels leverde zelden verbetering op, terwijl de computationele kosten (trainingstijd) met een factor 3 tot 14 toenamen.
• Frozen vs. Fine-tuned: Bevroren 7B-parameter modellen presteerden consistent slechter dan aangepaste mid-sized modellen (86-89M parameters). Modelgrootte alleen compenseert niet voor het gebrek aan taakspecifieke adaptatie.
• Label-ruis: DINOv3 is niet inherent robuuster tegen ruis; bij hoge mate van label-corruptie (40%) presteerde DINOv3 zelfs slechter dan ImageNet of DINOv2.
• Generalisatie: De voordelen van DINOv3 op $512 \times 512$ bleven behouden tijdens externe validatie op andere instellingen.

5. Betekenis en Conclusie

De studie concludeert dat de implementatie van moderne SSL-modellen in de radiologie een pragmatische aanpak vereist. Voor de classificatie van borstkasradiografieën bij volwassenen is de meest efficiënte en effectieve strategie het gebruik van volledig aangepaste mid-sized backbones (zoals ConvNeXt-B) op een resolutie van $512 \times 512$ pixels.

De belangrijkste klinische implicatie is dat de winst van DINOv3 vooral zit in het detecteren van subtiele, ruimtelijk kleine pathologieën. Het onderzoek waarschuwt tegen blindelings schalen van resolutie of modelgrootte, aangezien de kosten niet opwegen tegen de marginale winst in diagnostische nauwkeurigheid.