Improving Image Compression Ratio Using the mUMamba Image Restoration Network

Elke dag reizen er naar schatting drie miljard afbeeldingen door de digitale wereld, van telefoons naar servers en weer terug. Deze vloedgolf aan visuele gegevens vereist enorme hoeveelheden opslagruimte en krachtige internetverbindingen om zonder vertraging te kunnen bewegen. Om dit systeem draaiende te houden, vertrouwen ingenieurs al lang op compressie, een proces dat bestanden verkleint door informatie te verwijderen die het menselijk oog waarschijnlijk niet zal opmerken. Traditionele methoden werken door een uniforme set regels toe te passen op een volledige afbeelding, waarbij een egale lucht en een complex bos met dezelfde wiskundige benadering worden behandeld. Hoewel effectief, hebben deze standaardtechnieken vaak moeite met het vinden van de balans tussen de behoefte aan kleine bestandsgroottes en het verlangen naar scherpe, heldere plaatjes. Ze kunnen de subtiele verschillen tussen een eenvoudige achtergrond en een gedetailleerde voorgrond missen, wat leidt tot ofwel opgeblazen bestanden of wazige resultaten.

Een nieuwe aanpak probeert dit op te lossen door verschillende delen van een afbeelding verschillend te behandelen, vergelijkbaar met een bibliothecaris die weet welke boeken zelden worden gelezen en welke dagelijks worden uitgeleend. Onderzoekers hebben een systeem ontwikkeld dat identificeert welke delen van een foto essentieel zijn en welke tijdelijk opzij kunnen worden gezet om ruimte te besparen. Het doel is om de onnodige delen tijdens de transmissie te verwijderen en ze vervolgens te reconstrueren wanneer de afbeelding de bestemming bereikt. Dit vereist een decoder die niet alleen een passieve ontvanger is, maar een actieve restaurator die in staat is de ontbrekende details met hoge nauwkeurigheid te raden, hoewel niet perfect, aangezien er enige reconstructiefout overblijft.

In een recente studie hebben onderzoekers van de Semnan Universiteit in Iran een systeem geïntroduceerd genaamd mUMamba om deze uitdaging aan te pakken. Hun methode combineert een slimme analyse van de beeldinhoud met een krachtig nieuw type kunstmatige intelligentie die ontworpen is voor restauratie. Het proces begint met het opdelen van een afbeelding in kleine vierkante blokken. Het systeem onderzoekt deze blokken vervolgens op drie verschillende detailniveaus, waarbij het ze bekijkt als grote 16-bij-16 vierkanten, medium 8-bij-8 vierkanten en kleine 4-bij-4 vierkanten. Op elk niveau beslist het systeem of een blok eenvoudig genoeg is om te worden verwijderd. Als een blok een glad, onveranderlijk gebied bevat, wordt het gemarkeerd voor verwijdering. Als het een scherpe rand of een complex patroon bevat, wordt het behouden. Deze hiërarchische aanpak stelt het systeem in staat om veel agressiever te zijn met eenvoudige gebieden, terwijl de ingewikkelde details die de afbeelding definiëren zorgvuldig worden bewaard.

Zodra de verwijderbare blokken zijn geïdentificeerd, gooit het systeem ze niet simpelweg weg. In plaats daarvan stuurt het een kleine hoeveelheid "aanwijzingen" mee met de resterende beeldgegevens. Voor blokken die werden verwijderd omdat ze glad waren, stuurt het systeem een eenvoudige pijl die de richting van de kleurverandering aangeeft. Voor blokken die werden verwijderd omdat ze een rand bevatten, stuurt het een kaart die laat zien waar die rand zich bevond. Cruciaal is dat de delen van de afbeelding die behouden zijn gebleven, niet ongecomprimeerd worden gelaten; ze worden gecodeerd met behulp van standaard JPEG-compressie vóór de transmissie. De originele afbeelding is nu veel kleiner, maar is incompleet. De ontbrekende stukjes moeten door het ontvangende apparaat worden gereconstrueerd met behulp van alleen de resterende JPEG-gecomprimeerde pixels en deze kleine aanwijzingen.

Om deze reconstructie uit te voeren, gebruikten de onderzoekers een neuraal netwerk, een type computerprogramma geïnspireerd door het menselijk brein, gebouwd op een structuur die bekend staat als een U-Net. Dit netwerk is gevormd als een U, met een pad dat de beeldinformatie comprimeert en een ander pad dat het terug naar de oorspronkelijke grootte uitbreidt. Wat mUMamba uniek maakt, is de motor die het gebruikt om de diepe lagen van dit netwerk te verwerken. In plaats van de standaard hulpmiddelen die in de meeste beeldsoftware worden gebruikt, hebben de onderzoekers een component geïntegreerd die gebaseerd is op een nieuwe architectuur genaamd Mamba. Deze component is uitzonderlijk goed in het begrijpen van langetermijnverbindingen binnen gegevens, waardoor het ver over de afbeelding kan kijken om de context te vinden die nodig is om de gaten op te vullen. Het werkt als een zeer bekwame kunstenaar die naar de randen van een ontbrekend puzzelstukje kan kijken en onmiddellijk weet hoe het midden eruit moet zien op basis van de omliggende afbeelding.

De resultaten van deze aanpak werden getest op een grote collectie standaard testafbeeldingen. Het systeem bereikte een compressieratio van 46,5 procent, wat wijst op een significante reductie in datavolume, terwijl het een hoog niveau van visuele kwaliteit behield. Wanneer gemeten met standaard metrieken die de gerestaureerde afbeelding met de originele vergelijken, behaalde het systeem een score die duidt op een zeer nauwe overeenkomst, met een PSNR van 25,15 dB. Belangrijker nog, het systeem was aanzienlijk sneller en vereiste veel minder rekenkracht dan andere geavanceerde methoden. Het gebruikte slechts 8,5 miljoen parameters, de interne instellingen die de computer leert tijdens de training, vergeleken met meer dan 40 miljoen in concurrerende systemen. Deze efficiëntie betekent dat het systeem kan draaien op kleinere apparaten, zoals mobiele telefoons of sensoren op afgelegen locaties, zonder dat er een krachtige supercomputer nodig is.

De onderzoekers hebben hun methode ook vergeleken met de huidige beste standaarden in de industrie, zoals BPG en VVC. Ze ontdekten dat mUMamba dezelfde visuele kwaliteit kon bereiken bij een lagere datasnelheid, waardoor effectief 18,2 procent van de bandbreedte die door die standaarden vereist is, werd bespaard. In directe vergelijkingen met andere moderne AI-gebaseerde compressietools verbeterde het nieuwe systeem de structurele gelijkenis van de afbeeldingen met bijna 23 procent en de helderheid met 7 procent. Deze winsten werden behaald terwijl ook de tijd die nodig is om een afbeelding te verwerken met bijna een derde werd verkort.

De studie benadrukt dat de sleutel tot dit succes niet alleen het gebruik van een krachtig neuraal netwerk was, maar de specifieke manier waarop het werd gecombineerd met de klassieke methode van het verwijderen van blokken. Door de taak te splitsen in twee afzonderlijke delen — eerst de logische beslissing over wat te verwijderen en te comprimeren met standaard JPEG, en ten tweede de creatieve taak van het herbouwen van de ontbrekende delen — creëerden de onderzoekers een systeem dat zowel efficiënt als effectief is. De hiërarchische strategie van het controleren van blokken op verschillende formaten stelde het systeem in staat om meer mogelijkheden voor compressie te vinden zonder de kwaliteit van het uiteindelijke plaatje op te offeren.

Hoewel het systeem veelbelovend is, merken de onderzoekers op dat het momenteel het beste werkt met afbeeldingen van een vaste grootte en vertrouwt op standaard compressie voor de delen van de afbeelding die behouden blijven. Toekomstig werk zal erop gericht zijn het systeem flexibeler te maken voor afbeeldingen van elke grootte en om de resterende standaardcomponenten te vervangen door volledig door AI gestuurde componenten. Voor nu vormt het mUMamba-framework een belangrijke stap voorwaarts in het sneller en efficiënter maken van beeldtransmissie, wat bewijst dat door de inhoud van een afbeelding diepgaand te begrijpen, we meer kunnen verzenden met minder.