ERank in Latent Space as an Image-Complexity and Richness Measure

Technische Samenvatting: ERank in de Latente Ruimte als een Maatstaf voor Beeldcomplexiteit en Rijkdom

Probleemstelling
Het artikel behandelt de behoefte aan een maatstaf voor visuele rijkdom per monster, die vrij is van labels. Hoewel bestaande metrieken opereren in de pixelruimte (bijv. entropie, randdichtheid, bestandsgrootte) of op datasetniveau (bijv. FID, Vendi Score), is er een gat in het efficiënt kwantificeren van de diversiteit van kenmerken binnen de latente representatie van een enkele afbeelding. Een dergelijke maatstaf is cruciaal voor taken zoals curriculum learning, active learning en dataselectie voor pretraining, waarbij het begrijpen van de "moeilijkheidsgraad" of "rijkdom" van een invoersample de trainingsdynamiek kan optimaliseren. Huidige pixelgebaseerde metrieken zijn vaak blind voor semantiek en worden verward met ruis, terwijl datasetniveau-metrieken geen granulariteit op per-sample niveau bieden.

Methodologie
De auteurs stellen ERank (Effective Rank) voor, een metriek die wordt berekend vanuit de kanaalcovariantie van de diepe feature map van een afbeelding. De methodologie omvat de volgende stappen:

1. Feature Extractie: Een afbeelding $I$ wordt door een bevroren, vooraf getrainde encoder $f$ (bijv. ResNet-18 of CLIP ViT) gestuurd.
2. Berekening van de Covariantie: De intermediaire feature map op een specifieke laag $\ell$ wordt platgeslagen tot een matrix $X^{(\ell)} \in \mathbb{R}^{N \times C}$, waarbij $N$ de ruimtelijke grootte is en $C$ het aantal kanalen. De empirische kanaalcovariantie-matrix $\Sigma^{(\ell)}$ wordt berekend na het centreren van de kolommen.
3. ERank Berekening: De eigenwaarden $\lambda_i$ van de covariantie-matrix worden genormaliseerd om een kansverdeling $p_i$ te vormen. De ERank wordt gedefinieerd als de exponent van de Shannon-entropie van deze distributie:
   $$\text{erank}(I; f, \ell) = \exp\left(-\sum_{i=1}^C p_i \log p_i\right)$$
   Deze waarde vertegenwoordigt het aantal gedecorreleerde kanaalrichtingen dat de afbeelding activeert.
4. Aggregatie: Om robuustheid te garanderen, wordt ERank berekend over meerdere lagen van de encoder en gemiddeld om een enkele score per afbeelding te produceren.

De auteurs benadrukken dat ERank een vloeiende, differentieerbare relaxatie is van de matrixrang, invariant voor isotrope schaling en kanaalrotaties, en begrensd is tussen 1 en $\min(N, C)$.

Belangrijkste Bijdragen

• Definitie van ERank: Introductie van een per-sample, label-vrije metriek die visuele rijkdom kwantificeert door het tellen van geactiveerde gedecorreleerde kanaalrichtingen in de latente ruimte.
• Theoretische Eigenschappen: Demonstratie dat ERank een continue, differentieerbare maatstaf is die correleert met paarsgewijze kanaalcorrelatie en maximaal is wanneer kanalen gedecorreleerd zijn.
• Empirische Validatie: Uitgebreide analyse waaruit blijkt dat ERank afbeeldingen sorteert van "eenvoudig" naar "visueel rijk" en sterk correleert met menselijke complexiteitsannotaties ($r=0.72$ op IC9600), codec-bitrate, scherpte en randdichtheid.
• Nut voor Dataselectie: Identificatie van specifieke regimes waar ERank-gebaseerde dataselectie beter presteert dan willekeurige bemonstering, specifiek voor taken waarbij de inputrijkdom de moeilijkheidsgraad bepaalt.

Resultaten
De auteurs evalueren ERank langs vier assen:

1. Visuele Analyse: Het sorteren van afbeeldingen op basis van ERank levert een interpreteerbare ordening op waarbij afbeeldingen met een lage ERank eenvoudig/weinig detail hebben en afbeeldingen met een hoge ERank getextureerd, met meerdere objecten en met een hoge frequentie zijn.
2. Correlatie met Metrieken: ERank vertoont sterke positieve correlaties met Tenengrad-scherpte ($r \approx 0.47$), JPEG-compressibiliteit ($r \approx 0.52$) en Canny-randdichtheid ($r \approx 0.49$). Het vertoont een verwaarloosbare correlatie met distortie (BRISQUE) of kleurrijkheid.
3. Correlatie met Menselijke Annotatie: Op de IC9600-benchmark bereikt ERank een Pearson-correlatie van $r=0.72$ met menselijke complexiteitsscores, waarmee het de Unsupervised Activation Energy (UAE) metriek ($r=0.53$) overtreft.
4. Dataselectie Experimenten:
   • Super-resolutie (DIV2K): Het verwijderen van laag-ERank (eenvoudige) samples verbetert de PSNR vergeleken met willekeurige verwijdering, aangezien eenvoudige afbeeldingen weinig hoogfrequent signaal bijdragen voor reconstructie.
   • OCR (IIIT5K): Het verwijderen van hoog-ERank (visueel rijke/rommelige) samples verbetert de woordnauwkeurigheid, aangezien deze samples vaak moeilijker of ruiziger zijn voor herkennings-taken.
   • Niet-bijdragende Taken: ERank-selectie biedt geen significante verbetering ten opzien van willekeurige bemonstering voor classificatie (MNIST/CIFAR-10), denoising of semantische segmentatie. De auteurs schrijven dit toe aan het feit dat de taakmoeilijkheid in deze domeinen wordt bepaald door klassenstructuur, ruis of ruimtelijke lay-out, in plaats van inputrijkdom.

Betekenis en Claims
Het artikel claimt dat ERank dient als een "goedkope rijkdom-signaal" dat computationeel efficiënt is (het vereist slechts één forward pass door een bevroren encoder). De primaire betekenis ligt in het definiëren van de grenzen van de bruikbaarheid: ERank is effectief precies wanneer de taakmoeilijkheid wordt bepaald door inputrijkdom.

• Het is nuttig voor Super-resolutie (waar platte afbeeldingen oninformatief zijn) en OCR (waar rommelige afbeeldingen nadelig zijn).
• Het is niet nuttig voor taken waarbij de moeilijkheid wordt bepaald door klassenlabels (classificatie), ruimtelijke lay-out (segmentatie) of ruisniveaus (denoising).

De auteurs concluderen dat hoewel ERank een krachtig instrument is voor specifieke dataselectiescenario's, het willekeurige bemonstering niet universeel vervangt. Ze suggereren dat toekomstig werk ERank zou kunnen verkennen als een differentieerbare trainingsdoelstelling of een complexiteitssignaal voor adaptieve computatie, in plaats van enkel als selectiecriterium voor pre-training.