CorrelationFlow: A Training-Free Geometric Approach for LiDAR Scene Flow Estimation

Imaginez que vous conduisez une voiture à travers une ville animée, mais au lieu d'yeux, votre voiture possède un scanner laser ultra-sensible qui projette des millions de faisceaux invisibles chaque seconde. Ces faisceaux rebondissent sur les bâtiments, les autres voitures et les piétons, créant un nuage tourbillonnant de points en 3D qui cartographie le monde autour de vous. C'est ainsi que les voitures autonomes « voient ». Mais voir ne suffit pas ; la voiture doit savoir ce qui est en mouvement et où cela va. C'est ce qu'on appelle le « flux de scène » (scene flow). C'est comme essayer de deviner les pas de danse de chaque point de ce nuage pour prédire si un piéton s'apprête à traverser la route ou si un camion est en train de changer de voie. Pendant des années, les scientifiques ont tenté de résoudre ce problème en apprenant aux ordinateurs à partir de quantités massives de données, en leur montrant essentiellement des millions d'exemples de voitures en mouvement jusqu'à ce qu'ils mémorisent les motifs. C'est comme entraîner un chien avec une quantité infinie de friandises pour qu'il rapporte un bâton. Mais cette approche a un problème : si le chien n'a jamais vu un bâton en verre, ou si le vent souffle trop fort, il est désorienté.

Entrez dans une nouvelle idée qui pose une question simple : avons-nous vraiment besoin d'entraîner un ordinateur comme un chien, ou pouvons-nous simplement utiliser la bonne vieille géométrie et la logique ? Ce document présente une méthode appelée CorrelationFlow, qui saute l'étape de l'« entraînement » entièrement. Au lieu d'apprendre à partir de données, elle traite les points en mouvement comme un puzzle. Elle prend deux instantanés du nuage laser, les transforme en images plates en vue de dessus (comme regarder une carte depuis un drone), puis fait glisser une image sur l'autre pour voir à quel point elles se chevauchent. Si vous faites glisser une image de voiture juste assez pour qu'elle s'ajuste, elle se superpose parfaitement à la position de la voiture dans l'image suivante. En trouvant cet ajustement parfait, l'ordinateur peut calculer exactement à quelle vitesse et dans quelle direction la voiture se déplace, sans jamais avoir « étudié » une seule voiture auparavant.

Le problème avec la foule de l'« apprentissage »

Pendant longtemps, la science consistant à déterminer comment les choses bougent dans l'espace 3D a été dominée par un groupe spécifique : l'apprentissage profond (deep learning). Ce sont des programmes informatiques qui agissent comme des cerveaux géants et complexes. On les nourrit avec des montagnes de données — des milliers d'heures de scans laser de vraies voitures — et ils apprennent lentement à deviner le mouvement de chaque point. Cela fonctionne bien en laboratoire, mais présente de sérieux angles morts.

Premièrement, ces méthodes d'« apprentissage » sont comme des étudiants qui n'étudient que pour un examen spécifique. Si vous leur montrez une voiture qu'ils n'ont jamais vue, ou un capteur qui fonctionne légèrement différemment, ou une scène qui est très éloignée ou très éparse (comme une nuit de brouillard), ils échouent souvent de manière spectaculaire. Ils héritent des erreurs des données sur lesquelles ils ont été entraînés. Deuxièmement, ils sont gourmands. Ils ont besoin de quantités massives de données coûteuses et étiquetées manuellement pour apprendre, et ils sont lents à s'exécuter sur l'ordinateur d'une voiture car ils doivent traiter des calculs pour chaque point.

Les auteurs de ce document soutiennent que nous compliquons peut-être trop les choses. Ils suggèrent qu'une grande partie du problème peut être résolue avec la vision par ordinateur classique — le genre de mathématiques et de logique qui existait bien avant l'essor de l'IA. Ils proposent qu'au lieu d'entraîner un modèle à « deviner » le mouvement, nous puissions simplement le mesurer directement par la géométrie.

La solution CorrelationFlow : Un puzzle glissant

L'équipe derrière CorrelationFlow a décidé de prendre un chemin totalement différent. Ils ont construit un système qui ne nécessite aucun entraînement. Pas de jeux de données, pas de réseaux neuronaux, pas de phase d'« apprentissage ». Au lieu de cela, ils ont réduit le problème complexe du mouvement 3D à deux opérations simples et classiques : le étiquetage de composantes connexes (connected-component labeling) et la maximisation de la corrélation.

Voici comment cela fonctionne, étape par étape, en utilisant une analogie ludique :

1. La carte en vue de dessus
Imaginez que vous avez un scanner laser sur une voiture. Il voit une voiture devant vous comme un nuage de points 3D. La première chose que fait CorrelationFlow est d'aplatir ce nuage 3D en une carte 2D, regardant droit vers le bas depuis le ciel (une « Vue de Dessus » ou Bird's-Eye View - BEV). Il transforme le nuage de points en une image simple en noir et blanc où la voiture est une tache blanche sur un fond noir. Il fait cela pour deux moments dans le temps : maintenant ($t$) et un instant plus tard ($t+1$).

2. Le puzzle glissant (Corrélation)
Maintenant, imaginez que vous avez deux morceaux de papier. L'un contient la tache blanche de la voiture au temps $t$, et l'autre contient la tache au temps $t+1$. Comme la voiture a bougé, la tache sur le second papier est à un endroit légèrement différent.
L'ancienne méthode (l'apprentissage) essaierait de « deviner » le décalage en se basant sur des motifs mémorisés. CorrelationFlow fait quelque chose de beaucoup plus simple : il prend le premier papier et le fait glisser physiquement sur le second, en essayant toutes les positions possibles. Il demande : « Si je fais glisser cette tache ici, à quel point chevauche-t-elle la tache sur l'autre papier ? »
Il utilise un outil mathématique appelé corrélation croisée normalisée (Normalized Cross-Correlation) pour mesurer ce chevauchement. Pensez-y comme à un « score de correspondance ». Si les taches s'alignent parfaitement, le score est de 100 %. Si elles ne se chevauchent pas du tout, le score est de 0. L'ordinateur trouve l'endroit où le score est le plus élevé. Cet endroit lui indique exactement de combien la voiture a bougé.

3. Le regroupement des points (Composantes connexes)
Dans une rue animée, il y a de nombreuses voitures, des piétons et des arbres. Le scanner laser les voit tous comme un grand désordre de points. Pour résoudre cela, CorrelationFlow utilise une technique appelée étiquetage de composantes connexes.
Imaginez que les points sont des personnes se tenant la main. Si deux points sont suffisamment proches, ils sont « connectés ». L'algorithme trouve tous les groupes de personnes se tenant la main. Un groupe peut être une voiture, un autre un piéton. Il traite chaque groupe comme un objet unique. C'est crucial car il suppose que si une voiture bouge, chaque partie de cette voiture bouge ensemble (mouvement rigide). Une fois qu'il trouve un groupe, il calcule le mouvement pour l'ensemble du groupe à la fois, plutôt que d'essayer de déterminer le mouvement de chaque point individuellement.

4. Le raccourci des « points clés »
Les auteurs ont réalisé que parfois, surtout avec des objets distants ou éparses, regrouper les points parfaitement est difficile. Ils ont donc créé une seconde version appelée CorrelationFlow-Keypoints.
Au lieu de regrouper l'objet entier, cette version ne regarde que les contours ou les limites des objets. Elle sélectionne des « points clés » spéciaux sur le contour de l'ombre de la voiture sur la carte. Elle fait ensuite correspondre ces points de bordure entre les deux étapes temporelles, de la même manière que vous pourriez faire correspondre les coins d'une pièce de puzzle. Cette version est encore plus rapide et fonctionne bien sur une seule paire de scans sans avoir besoin d'un historique de scans passés.

Ce qu'ils ont trouvé : La simplicité gagne (parfois)

L'équipe a testé sa méthode sur un défi réel massif appelé l'Argoverse 2 2026 Scene Flow Challenge. Ce n'était pas seulement un test sur un type de voiture ou une ville ; il utilisait des données provenant de cinq ensembles de données différents, avec des capteurs, des véhicules et des localisations différents. Il était conçu pour voir si une méthode pouvait généraliser — fonctionner partout sans être ajustée pour une configuration spécifique.

Les résultats sont surprenants et encourageants :

• Classement : CorrelationFlow s'est classé en deuxième position parmi toutes les méthodes « non supervisées » (méthodes qui n'utilisent pas de labels manuels). C'est impressionnant car la plupart des concurrents de haut niveau sont des modèles d'IA complexes et lourds qui nécessitent un entraînement massif.
• L'avantage de la longue portée : C'est la partie la plus excitante. Les méthodes d'« apprentissage » (les modèles d'IA) fonctionnaient très bien lorsque les objets étaient proches (0–35 mètres). Mais à mesure que les objets s'éloignaient (35–70 mètres), les modèles d'IA commençały à s'effondrer, leurs erreurs grimpant en flèche. Pourquoi ? Parce que les objets lointains ont moins de points, et l'IA s'embrouille. CorrelationFlow, cependant, a décliné avec grâce. Il n'a pas paniqué. Parce qu'il repose sur la forme globale et le chevauchement de l'objet plutôt que sur des motifs mémorisés, il a continué à fonctionner même lorsque les données étaient éparses.
• Vitesse et efficacité : Comme il n'a pas besoin d'exécuter un réseau neuronal géant, CorrelationFlow est beaucoup plus léger. Il n'a pas besoin d'être entraîné sur des millions d'images au préalable. Il se contente de faire les calculs à la volée.

Les limites et l'avenir

Les auteurs sont honnêtes quant aux limites. Leur méthode suppose que les objets se déplacent en ligne droite et ne pivotent pas de manière sauvage entre les images (ce qui est généralement vrai pour les voitures et les piétons sur de courts intervalles de temps). Elle éprouve également quelques difficultés avec les objets se déplaçant très rapidement qui sautent trop loin entre les images, bien qu'ils aient développé une stratégie « grossière-vers-fine » pour gérer cela en vérifiant d'abord le mouvement par grandes étapes, puis par petites étapes.

Ils ont également constaté que, bien que leur méthode soit excellente, elle n'est pas magique. Si le mouvement de la propre voiture (mouvement de l'ego) n'est pas calculé parfaitement, tout devient désordonné. Mais le message central est clair : nous n'avons pas besoin de passer à l'échelle la complexité pour résoudre chaque problème.

Le document suggère qu'une partie importante du problème du flux de scène est en réalité soluble avec la vision par ordinateur classique. C'est un rappel que, parfois, la meilleure façon de résoudre un puzzle complexe n'est pas de construire un robot plus grand et plus intelligent pour deviner la réponse, mais d'utiliser une règle simple et astucieuse qui décrit réellement comment le monde fonctionne. Comme le disent les auteurs, le progrès pourrait nécessiter de « questionner la formulation, plutôt que de l'étendre ». Dans un monde obsédé par les modèles d'IA de plus en plus grands, CorrelationFlow est un rappel rafraîchissant que parfois, l'astuce géométrique la plus simple est l'outil le plus puissant de tous.