Improving Image Compression Ratio Using the mUMamba Image Restoration Network

Jeden Tag bewegen sich etwa drei Milliarden Bilder durch die digitale Welt, von Telefonen zu Servern und wieder zurück. Diese Flut an visuellen Daten erfordert enorme Mengen an Speicherplatz und leistungsstarke Internetverbindungen, um ohne Verzögerung übertragen zu werden. Um dieses System am Laufen zu halten, verlassen sich Ingenieure seit langem auf Kompression – ein Prozess, der Dateien verkleinert, indem Informationen entfernt werden, die das menschliche Auge wahrscheinlich nicht bemerken würde. Traditionelle Methoden funktionieren, indem sie eine einheitliche Regel auf ein gesamtes Bild anwenden, wobei sie einen glatten Himmel und einen komplexen Wald mit demselben mathematischen Ansatz behandeln. Obwohl diese Standardtechniken effektiv sind, haben sie oft Schwierigkeiten, das Gleichgewicht zwischen der Notwendigkeit kleiner Dateigrößen und dem Wunsch nach scharfen, klaren Bildern zu halten. Sie können die subtilen Unterschiede zwischen einem einfachen Hintergrund und einem detaillierten Vordergrund übersehen, was entweder zu aufgeblähten Dateien oder unscharfen Ergebnissen führt.

Ein neuer Ansatz versucht dies zu lösen, indem er verschiedene Teile eines Bildes unterschiedlich behandelt, ganz ähnlich wie ein Bibliothekar, der weiß, welche Bücher selten gelesen und welche täglich ausgeliehen werden. Forscher haben ein System entwickelt, das identifiziert, welche Teile eines Fotos essenziell sind und welche vorübergehend beiseite gestellt werden können, um Platz zu sparen. Das Ziel ist es, die unnötigen Teile während der Übertragung zu löschen und sie dann zu rekonstruieren, wenn das Bild am Bestimmungsort ankommt. Dies erfordert einen Decoder, der nicht nur ein passiver Empfänger ist, sondern ein aktiver Restaurator, der in der Lage ist, die fehlenden Details mit hoher Genauigkeit zu erraten, wenngleich nicht perfekt, da ein gewisser Rekonstruktionsfehler bestehen bleibt.

In einer aktuellen Studie haben Forscher der Semnan University im Iran ein System namens mUMamba vorgestellt, um diese Herausforderung anzugehen. Ihre Methode kombiniert eine intelligente Analyse des Bildinhalts mit einer leistungsstarken, neuen Art von künstlicher Intelligenz, die für die Restaurierung konzipiert wurde. Der Prozess beginnt damit, ein Bild in kleine quadratische Blöcke zu zerlegen. Das System untersucht diese Blöcke auf drei verschiedenen Detailebenen, indem es sie als große 16-mal-16-Quadrate, mittlere 8-mal-8-Quadrate und kleine 4-mal-4-Quadrate betrachtet. Auf jeder Ebene entscheidet das System, ob ein Block einfach genug ist, um entfernt zu werden. Wenn ein Block einen glatten, unveränderlichen Bereich enthält, wird er für die Löschung markiert. Wenn er eine scharfe Kante oder ein komplexes Muster enthält, wird er beibehalten. Dieser hierarchische Ansatz ermöglicht es dem System, bei einfachen Bereichen weitaus aggressiver vorzugehen und gleichzeitig die komplizierten Details, die das Bild definieren, sorgfältig zu bewahren.

Sobald die entfernbaren Blöcke identifiziert sind, wirft das System diese nicht einfach weg. Stattdessen sendet es eine kleine Menge an „Hinweisen“ zusammen mit den verbleibenden Bilddaten. Für Blöcke, die entfernt wurden, weil sie glatt waren, sendet das System einen einfachen Pfeil, der die Richtung der Farbänderung angibt. Für Blöcke, die entfernt wurden, weil sie eine Kante enthielten, sendet es eine Karte, die zeigt, wo sich diese Kante befand. Entscheidend ist, dass die Teile des Bildes, die beibehalten wurden, nicht unkomprimiert bleiben; sie werden vor der Übertragung mittels Standard-JPEG-Kompression kodiert. Das ursprüngliche Bild ist nun viel kleiner, aber unvollständig. Die fehlenden Stücke müssen vom empfangenden Gerät unter Verwendung der verbleibenden JPEG-komprimierten Pixel und dieser kleinen Hinweise rekonstruiert werden.

Um diese Rekonstruktion durchzuführen, setzten die Forscher ein neuronales Netz ein – eine Art Computerprogramm, das dem menschlichen Gehirn nachempfunden ist –, das auf einer Struktur namens U-Net basiert. Dieses Netzwerk ist in Form eines U gestaltet, mit einem Pfad, der die Bildinformationen komprimiert, und einem anderen Pfad, der sie wieder auf ihre ursprüngliche Größe expandiert. Was mUMamba einzigartig macht, ist die Engine, die es verwendet, um die tiefen Schichten dieses Netzwerks zu verarbeiten. Anstatt der Standardwerkzeuge, die in den meisten Bildprogrammen verwendet werden, integrierten die Forscher eine Komponente, die auf einer neuen Architektur namens Mamba basiert. Diese Komponente ist außergewöhnlich gut darin, weitreichende Verbindungen innerhalb von Daten zu verstehen, was es ihr ermöglicht, weit über das Bild hinwegzuschauen, um den Kontext zu finden, der nötig ist, um die Lücken zu füllen. Es agiert wie ein hochqualifizierter Künstler, der auf die Kanten eines fehlenden Puzzleteils schauen kann und sofort weiß, wie die Mitte basierend auf dem umliegenden Bild aussehen muss.

Die Ergebnisse dieses Ansatzes wurden an einer großen Sammlung von Standard-Testbildern getestet. Das System erreichte ein Kompressionsverhältnis von 46,5 Prozent, was eine signifikante Reduktion des Datenvolumens anzeigt, während gleichzeitig ein hohes Maß an visueller Qualität beibehalten wurde. Gemessen an Standardmetriken, die das rekonstruierte Bild mit dem Original vergleichen, erreichte das System einen Wert, der auf eine sehr enge Übereinstimmung hindeutet, mit einem PSNR von 25,15 dB. Noch wichtiger ist, dass das System deutlich schneller war und weit weniger Rechenleistung benötigte als andere fortschrittliche Methoden. Es verwendete nur 8,5 Millionen Parameter – also die internen Einstellungen, die der Computer während des Trainings lernt – im Vergleich zu über 40 Millionen bei konkurrierenden Systemen. Diese Effizienz bedeutet, dass das System auf kleineren Geräten, wie Mobiltelefonen oder Sensoren in abgelegenen Gebieten, laufen kann, ohne einen leistungsstarken Supercomputer zu benötigen.

Die Forscher verglichen ihre Methode auch mit den aktuellen Industriestandards wie BPG und VVC. Sie fanden heraus, dass mUMamba dieselbe visuelle Qualität bei einer niedrigeren Datenrate erreichen kann, was effektiv 18,2 Prozent der von diesen Standards erforderten Bandbreite einspart. Im direkten Vergleich mit anderen modernen KI-basierten Kompressionstools verbesserte das neue System die strukturelle Ähnlichkeit der Bilder um fast 23 Prozent und die Klarheit um 7 Prozent. Diese Gewinne wurden erzielt, während gleichzeitig die Zeit für die Bildverarbeitung um fast ein Drittel geschnitten wurde.

Die Studie hebt hervor, dass der Schlüssel zu diesem Erfolg nicht nur in der Verwendung eines leistungsstarken neuronalen Netzes lag, sondern in der spezifischen Art und Weise, wie es mit der klassischen Methode des Blockentfernens kombiniert wurde. Durch die Trennung der Aufgabe in zwei distinkte Teile – zuerst die logische Entscheidung darüber, was entfernt und mittels Standard-JPEG komprimiert wird, und zweitens die kreative Aufgabe, die fehlenden Teile wieder aufzubauen – schufen die Forscher ein System, das sowohl effizient als auch effektiv ist. Die hierarchische Strategie, Blöcke in verschiedenen Größen zu prüfen, erlaubte es dem System, mehr Möglichkeiten zur Kompression zu finden, ohne die Qualität des fertigen Bildes zu opfern.

Obwohl das System großes Potenzial zeigt, merken die Forscher an, dass es derzeit am besten mit Bildern einer festen Größe arbeitet und auf die Standardkompression für die Teile des Bildes angewiesen ist, die beibehalten werden. Zukünftige Arbeiten werden darauf abzielen, das System für Bilder jeglicher Größe flexibler zu machen und die verbleibenden Standardkomponenten durch vollständig KI-gesteuerte Komponenten zu ersetzen. Für den Moment stellt das mUMamba-Framework einen bedeutenden Schritt nach vorn dar, um die Bildübertragung schneller und effizienter zu machen, indem es beweist, dass wir durch ein tiefes Verständnis des Bildinhalts mehr mit weniger senden können.