Learning Color Equivariant Representations

Probleemstelling

Deep convolutional neural networks (CNNs) hebben enorme vooruitgang geboekt in beeldclassificatie, maar ze zijn vaak gevoelig voor perceptuele variaties, zoals veranderingen in kleur. Hoewel er veel onderzoek is gedaan naar de robuustheid tegen geometrische transformaties (rotatie, schaling), is de robuustheid tegen kleurvariaties minder goed opgelost.

• Huidige aanpak: Veel methoden gebruiken data-augmentatie (wat trainingsduur verlengt) of enforced invariance (bijv. omzetten naar grijstinten), wat cruciale informatie voor classificatie kan verliezen.
• Bestaande oplossing (CEConv): Een recente aanpak, CEConv, probeert kleurequivariantie te bereiken door convolutie met hue-gedraaide RGB-filters. Dit heeft echter een fundamenteel probleem: het roteren van RGB-filters leidt vaak tot ongeldige RGB-waarden (waarden buiten het bereik [0, 1]). Om dit op te lossen, projecteren ze deze waarden terug naar de RGB-cube, wat de equivariantie breekt en de prestaties verslechtert.
• Gevolg: Bestaande netwerken vertonen een significante daling in classificatieprestaties wanneer ze worden geconfronteerd met kleurvariaties die niet in de trainingsdata voorkomen (out-of-distribution).

Methodologie

De auteurs introduceren Group Convolutional Neural Networks (GCNNs) die specifiek zijn ontworpen om equivariant te zijn ten opzichte van kleurvariaties in de HSL-kleurruimte (Hue, Saturation, Luminance).

1. Geometrische Structuur van Kleur:

   • Hue (Tint): Wordt gemodelleerd als de 2D rotatiegroep (cyclische groep $C_N$). Een verandering in tint komt overeen met een rotatie.
   • Saturation (Verzadiging) & Luminance (Helderheid): Worden gemodelleerd als de 1D translatiegroep (isomorf met de gehele getallen met optelling). Een verandering in verzadiging of helderheid komt overeen met een translatie.

2. De Oplossing: De "Lifting Layer" (Het Kerninnovatiepunt):

   • In tegenstelling tot CEConv, dat filters in de RGB-ruimte transformeert (wat ongeldige waarden oplevert), transformeert de voorgestelde lifting layer direct de inputafbeelding.
   • De inputafbeelding wordt "gelift" naar het productruimte van het beeldrooster ($Z^2$) en de discretiserde kleurgroepen (Hue, Saturation, Luminance).
   • Door de transformatie op de inputafbeelding (in HSL) toe te passen in plaats van op de filters, worden ongeldige RGB-waarden volledig vermeden. Dit garandeert dat de transformatie omkeerbaar is en de equivariantie niet wordt verbroken door projectie-artefacten.

3. Groepsconvolutie:

   • Na de lifting laag worden de feature maps geconvolueerd met filters die gedefinieerd zijn over de groep (Hue, Saturation, of een combinatie daarvan).
   • Dit zorgt ervoor dat als de inputafbeelding een kleurtransformatie ondergaat, de feature maps op een voorspelbare manier (equivariant) veranderen, in plaats van willekeurig te veranderen.

Belangrijkste Bijdragen

1. Oplossing voor ongeldige RGB-waarden: De introductie van een lifting layer die op de inputafbeelding werkt (in HSL) in plaats van op filters (in RGB). Dit verhoogt de equivariantiefout met meer dan drie ordes van grootte (van ~7% naar verwaarloosbaar) vergeleken met CEConv.
2. Uitbreiding van Kleurequivariantie: Voor het eerst wordt equivariantie niet alleen toegepast op Hue, maar ook op Saturation en Luminance.
3. Geometrische Modellering: Het modelleren van perceptuele kleurvectoren als geometrische groepen (rotatie en translatie) binnen een GCNN-architectuur.
4. Toepasbaarheid: Demonstration van de nuttigheid voor taken zoals kleurgebaseerd sorteren van afbeeldingen, wat niet mogelijk is met conventionele CNNs.

Resultaten

De auteurs testen hun modellen (Hue-N, Sat-N, en gecombineerde varianten) op diverse synthetische en real-world datasets en vergelijken ze met baselines zoals Z2CNN, ResNet en CEConv.

• Hue-shift MNIST: De modellen behouden hun prestaties bij out-of-distribution hue-shifts (A/B-test), terwijl conventionele CNNs dramatisch falen (fouten stijgen van ~1.5% naar ~57%).
• 3D Shapes Dataset: De modellen vertonen superieure generalisatie bij lokale hue-shifts. CEConv presteert slecht wanneer de discretisatie van de hue-groep niet overeenkomt met de symmetrieën van de RGB-cube (bijv. N=4), terwijl het voorgestelde model robuust blijft.
• Camelyon17 (Medische Beeldvorming): Bij het sorteren van weefselmonsters van verschillende ziekenhuizen (waarbij verzadiging varieert door verschillende protocollen), presteert het Sat-N model aanzienlijk beter dan ResNet50 en CEConv (foutreductie van ~29% naar ~16%).
• Real-world Datasets (Caltech-101, Stanford Cars, etc.): De kleurequivariante netwerken overtreffen CEConv op alle datasets en zijn concurrerend met ResNet, maar met een significant verbeterde generalisatievermogen voor kleurvariaties.
• Sample Efficiency: De modellen hebben minder trainingsdata nodig om dezelfde prestaties te bereiken als conventionele netwerken.
• Kleur-sorteren: De auteurs tonen aan dat hun feature maps structureel geschikt zijn om afbeeldingen te sorteren op basis van tint, wat een directe toepassing is van de equivariante eigenschappen.

Betekenis en Conclusie

Dit werk is een belangrijke stap in het veld van Geometric Deep Learning voor perceptuele taken. Door de beperkingen van eerdere kleurequivariante netwerken (CEConv) op te lossen en het concept uit te breiden naar verzadiging en helderheid, bieden de auteurs een robuustere en interpreteerbare architectuur.

De kernboodschap is dat het benutten van de onderliggende geometrische structuur van kleur (in plaats van het negeren ervan of het gebruiken van ruwe augmentatie) leidt tot:

1. Hogere generalisatie naar onbekende kleurverdelingen.
2. Betere sample-efficiëntie.
3. Nieuwe functionaliteiten zoals het sorteren van data op kleur, wat nuttig kan zijn voor toepassingen in medische beeldvorming, kwaliteitscontrole en fijnmazige classificatie.

De auteurs erkennen wel dat GCNNs computatievriendelijker zijn dan conventionele CNNs, maar benadrukken dat de winst in generalisatie en interpretatie dit ruimschoots compenseert. Toekomstig werk richt zich op het ontwikkelen van continue representaties om de discretisatie te overwinnen.