Loop-Mamba: A Loop Mamba with Degradation-Aware and Shared Memory for Old Photo Restoration

Imaginez que vous êtes un archéologue, mais qu'au lieu de creuser pour trouver des tessons de poterie, vous fouillez dans un grenier poussiéreux à la recherche des photos de mariage de vos arrière-grands-parents. Ces images sont des trésors, détenant les souvenirs de visages et de lieux disparus depuis longtemps. Mais le temps est un éditeur cruel ; il a griffoné la surface, délavé les couleurs, fissuré l'émulsion et même déchiré des trous à travers les parties les plus importantes de la photo. Réparer ces photos ne consiste pas seulement à les rendre à nouveau « jolies » ; il s'agit de reconstruire une histoire brisée sans inventer de nouveaux chapitres qui n'ont jamais existé. C'est le défi de la restauration de vieilles photos.

Pendant longtemps, les ordinateurs ont essayé de réparer ces photos en regardant l'image entière d'un seul coup et en devinant quelles devraient être les parties manquantes, un peu comme essayer de résoudre un immense puzzle en devinant la forme de chaque pièce en une seule fois. Mais les vieilles photos sont désordonnées ; elles présentent différents types de dommages à différents endroits. Certaines parties sont simplement floues, tandis que d'autres sont déchirées. Pour y remédier, les scientifiques ont commencé à utiliser les Modèles d'Espace d'États (SSM). Voyez cela comme une façon super intelligente et efficace pour un ordinateur de se souvenir de ce qu'il a vu jusqu'à présent en parcourant une image, plutôt que d'essayer de mémoriser toute l'image d'un coup. C'est comme lire un livre page par page, en se souvenant de l'intrigue pour comprendre la page suivante, au lieu d'essayer d'avaler tout le livre en une seule bouchée. Ce document examine comment nous pouvons utiliser ces systèmes de mémoire intelligents pour réparer soigneusement nos souvenirs les plus précieux et les plus endommagés.

L'article : Loop-Mamba

Les chercheurs derrière cet article, dirigés par Runci Bai et ses collègues, ont construit un nouvel outil appelé Loop-Mamba. Ils ont réalisé que l'ancienne méthode de réparation de photos — essayer de reconstruire l'image entière en un seul grand bond désordonné — ne fonctionnait pas assez bien pour les dommages complexes et multicouches présents dans les photos vintage. Au lieu de cela, ils ont décidé de traiter la restauration comme une boucle progressive, un peu comme un sculpteur qui dégrossit un bloc de pierre, affinant la forme petit à petit jusqu'à ce que la statue émerge.

Le problème des réparations "en une seule fois"
La plupart des méthodes précédentes essayaient de réparer une photo en une seule passe. Les auteurs soutiennent que c'est comme essayer de réparer un vase fissuré en le recollant tout d'un coup sans vérifier où les fissures sont les plus profondes. Les vieilles photos souffrent de « dégradations hétérogènes », ce qui est une façon sophistiquée de dire que les dommages sont partout et varient d'un endroit à l'autre. Certaines zones sont juste poussiéreuses, tandis que d'autres sont déchirées. Si vous traitez toute la photo de la même manière, vous risquez de trop réparer les parties propres et de pas assez réparer les parties brisées.

La solution Loop-Mamba
Loop-Mamba change la donne en transformant la restauration en un processus d'évolution d'état. Imaginez une équipe de restaurateurs travaillant sur une photo en boucle. Au lieu de repartir de zéro à chaque fois, ils transmettent un « état de restauration » (une carte mentale de ce à quoi la photo devrait ressembler) d'un tour à l'autre.

Voici comment ils font fonctionner le système, grâce à trois astuces ingénieuses :

1. Le "Détective des Dommages" (Estimateur de Dégradation Guidé par la Sémantique) : Avant que l'équipe ne commence à réparer, elle doit savoir exactement où se situent les problèmes. Loop-Mamba utilise un module spécial appelé SGDE pour agir comme un détective. Il ne se contente pas de deviner ; il crée une carte détaillée montrant exactement comment les dommages sont répartis dans chaque pixel (dommage local) et donne un score pour la difficulté globale de la photo à réparer (score global). Cette carte dit au reste du système : « Hé, ce coin est déchiré, concentrez votre énergie là », garantissant que l'ordinateur sait exactement où être prudent.

2. La "Banque de Mémoire Partagée" (Mamba de Mémoire Structurelle Partagée) : C'est le cœur de la boucle. Dans beaucoup de méthodes anciennes, l'ordinateur oublie ce qu'il a réparé à l'étape précédente et essaie de le reconstruire à nouveau, ce qui peut mener à de la confusion ou à des résultats flous. Loop-Mamba utilise une Mémoire Structurelle Partagée (S2M). Considérez cela comme un carnet de notes partagé que l'équipe se passe. Chaque fois qu'ils apportent une petite amélioration, ils l'écrivent dans le carnet. Le tour de travail suivant ne repart pas de zéro ; il ramasse le carnet, lit ce qui a déjà été réparé et construit par-dessus. Cela garantit que la structure de la photo (comme les lignes d'un visage ou d'un bâtiment) reste cohérente et ne se perd pas en cours de route.

3. Le "Scan Multidirectionnel" : Pour s'assurer de ne manquer aucun détail, le système scanne la photo dans plusieurs directions simultanément. C'est comme regarder une peinture de la gauche, de la droite, du haut et du bas en même temps pour repérer chaque fissure. Cela aide le système à relier les points sur de longues distances dans l'image, s'assurant qu'une ligne brisée au milieu soit correctement reconnectée aux extrémités.

Les Résultats : Plus Rapide, Plus Intelligent et Plus Précis
L'équipe a testé Loop-Mamba sur un benchmark public appelé SynOld, qui contient 700 paires de photos endommagées et propres. Les résultats ont été impressionnants. Loop-Mamba n'était pas seulement esthétique ; il était incroyablement efficace.

• Vitesse : Il tournait à 1,86 FPS (images par seconde) sur des images haute définition 1080P, ce qui est bien plus rapide que de nombreuses autres méthodes complexes.
• Efficacité : Il n'utilisait que 119 G FLOPs (une mesure du travail de calcul) et 59 G MACs, ce qui est nettement inférieur aux méthodes lourdes qui nécessitent souvent des ordinateurs massifs pour fonctionner.
• Qualité : Il a obtenu un score maximal de 30,13 PSNR et 0,93 SSIM, surpassant les meilleures méthodes précédentes.

Mais les auteurs ne se sont pas arrêtés aux mesures standards. Ils ont réalisé que les tests classiques ne capturaient pas pleinement si le "dommage" avait réellement été supprimé ou si l'image était juste devenue "jolie". Ils ont donc inventé un nouveau score appelé Old Photo Damage Recovery Score (ODRS). Ce score mesure spécifiquement la capacité du système à récupérer les parties endommagées et la fidélité avec laquelle il a reconstruit la structure. Loop-Mamba a obtenu un score de 0,9495 sur cette nouvelle métrique, prouvant qu'il réparait réellement les dommages, et ne se contentait pas de peindre par-dessus.

Pourquoi cela importe
L'article suggère qu'en traitant la restauration comme une boucle continue de mises à jour d'état plutôt que comme une reconstruction unique et lourde, nous pouvons réparer de vieilles photos avec beaucoup moins de puissance de calcul et une meilleure précision. Ils ont découvert que faire tourner la boucle 3 fois était le point d'équilibre idéal ; en faire plus n'aidait pas beaucoup et ralentissait effectivement le processus.

Ils ont également montré que ce système est assez léger pour fonctionner sur un smartphone (spécifiquement un Mi 10 Lite Zoom), ce qui signifie que vous pourriez potentiellement réparer les vieilles photos de votre famille directement sur votre téléphone sans avoir besoin d'un supercalculateur. Les auteurs concluent que cette approche d'« évolution progressive de l'état » est une nouvelle façon puissante de gérer la réalité désordonnée et complexe des photographies anciennes, offrant une voie pour préserver notre histoire visuelle avec plus de clarté et moins d'effort.