Résumé Technique : Invaria

Énoncé du Problème

Les encodeurs d'images modernes ont réussi à découpler le sens sémantique de la résolution, permettant une généralisation robuste à travers des échelles et des densités diverses. Cependant, les encodeurs de nuages de points 3D échouent à atteindre une généralisation similaire. L'article identifie que les modèles existants sont hautement sensibles à la résolution d'échantillonnage (définie par la taille de la grille de discrétisation $\tau$) et à l'échelle de l'objet. Cette sensibilité se manifeste sous la forme d'un phénomène d'"apprentissage par raccourci" où les modèles surajustent à des densités de points spécifiques et à des champs récepteurs définis par la grille, plutôt que d'apprendre des caractéristiques structurelles invariantes.

Deux facteurs principaux entraînent cet échec :

1. Dépendance à l'échelle : Les opérateurs tels que le regroupement (pooling), la convolution éparsse et l'encodage positionnel relatif sont étroitement couplés à la taille de la grille. Changer la taille de la grille revient à redimensionner l'objet du point de vue du modèle, modifiant le volume physique couvert par un noyau fixe.
2. Raccourci de densité : Les méthodes de regroupement de caractéristiques locales (par exemple, $k$-NN, attention fenêtrée) capturent des contextes spatiaux incohérents lorsque la densité des points change. Un nombre fixe de voisins ($k$) ou une fenêtre de patch fixe ($W$) couvre des volumes physiques très différents selon que l'entrée est éparsse ou dense.

Par conséquent, les modèles existants subissent une dégradation significative des performances lorsque la résolution d'inférence ou l'échelle de l'objet s'écarte de la distribution d'entraînement, entravant le déploiement réel en robotique où la qualité des capteurs et les contraintes matérielles varient.

Méthodologie : Invaria

Les auteurs proposent Invaria, un encodeur de nuages de points conçu pour apprendre des caractéristiques invariantes à l'échelle et à la densité grâce à une nouvelle pipeline d'entraînement et des ajustements architecturaux.

1. Prédiction de la Prochaine Résolution (NRP)

Inspiré par les modèles autorégressifs en langage et en vision, Invaria emploie un objectif de prédiction de la prochaine résolution. Au lieu d'une génération explicite de nuages de points, le modèle est entraîné à prédire les caractéristiques sémantiques d'un nuage de points à plus haute résolution à partir d'une entrée plus éparse et de plus basse résolution dans l'espace latent.

• Mécanisme : Le modèle prend une entrée éparse, extrait des caractéristiques latentes et utilise un module prédicteur pour "densifier" ces caractéristiques afin de correspondre à une cible à plus haute résolution.
• Objectif : Cela force l'encodeur à découpler le sens sémantique des résolutions d'échantillonnage spécifiques, encourageant l'apprentissage d'invariants structurels fondamentaux plutôt que de raccourcis spécifiques à la résolution.

2. Calibration du Champ Récepteur

Pour répondre à la dépendance inhérente à l'échelle des opérateurs basés sur la grille, Invaria introduit une calibration du champ récepteur.

• Au lieu de s'appuyer sur une taille de grille statique pour définir l'adjacence des caractéristiques, la taille de grille interne est calculée dynamiquement en fonction de la densité locale du nuage de points d'entrée.
• La méthode échantillonne des points d'ancrage, calcule leurs distances aux plus proches voisins, et agrège ces distances pour déterminer une taille de grille calibrée ($\psi(P)$). Cela garantit que le champ récepteur effectif reste cohérent par rapport à la géométrie de l'objet, indépendamment de la densité des points d'entrée.

3. Encodage Asymétrique des Caractéristiques de Points

S'appuyant sur la robustesse apprise durant l'entraînement, Invaria adopte une stratégie d'inférence asymétrique.

• Lors de l'inférence, le modèle traite des entrées plus éparsses et de plus basse résolution via l'architecture U-Net.
• Parce que le modèle a appris à prédire des caractéristiques à plus haute résolution à partir d'entrées de plus basse résolution, il peut générer des représentations sémantiques denses à partir de données éparsses.
• Avantage : Cette approche maintient un champ récepteur effectif plus large (évitant le problème de "champ récepteur réduit" des entrées à haute densité) et réduit considérablement la surcharge computationnelle (FLOPs) et le nombre de tokens, ce qui est critique pour les architectures basées sur les transformateurs.

4. Objectif d'Entraînement

La fonction de perte totale combine :

• Perte de Segmentation Supervisée : Entropie Croisée (CE) et Lovász-Softmax (LS) appliquées à travers plusieurs niveaux de résolution.
• Alignement de l'Espace Latent ($L_{align}$) : Un terme de cohérence qui minimise la distance cosinus entre les tokens de goulot d'étranglement de différentes résolutions, assurant que le modèle apprend un espace latent unifié indépendamment de la densité d'entrée.

Contributions Clés

1. Analyse de la Sensibilité : L'article enquête systématiquement et démontre que les encodeurs de nuages de points existants échouent à généraliser à travers les décalages de résolution et d'échelle en raison de "raccourcis de densité" et de champs récepteurs dépendants de l'échelle.
2. Architecture Invaria : L'introduction d'un encodeur de nuages de points qui atteint l'invariance grâce à la prédiction de la prochaine résolution et à la calibration du champ récepteur.
3. Efficacité par Asymétrie : Une démonstration que les représentations invariantes à la résolution permettent un encodage asymétrique, où des entrées éparsses produisent des caractéristiques denses, réduisant le nombre de tokens d'entrée d'environ 40 % et la taille du modèle d'environ 45 % par rapport aux méthodes de l'état de l'art (SOTA), sans sacrifier les performances.

Résultats Expérimentaux

La méthode a été évaluée sur les ensembles de données ScanNet (intérieur) et nuScenes (extérieur).

• Robustesse à la Résolution : Sur ScanNet, Invaria atteint un mIoU 56,0 % plus élevé à une résolution 3 fois inférieure par rapport aux modèles SOTA (par exemple, Sonata, Concerto, Utonia) entraînés à la résolution par défaut. Il maintient des performances élevées même lorsque la taille de la grille est augmentée (résolution inférieure) ou diminuée (résolution supérieure).
• Robustesse à l'Échelle : Lorsque les échelles d'objets sont réduites d'un facteur 3, Invaria montre une amélioration de 20 % du mIoU par rapport aux méthodes existantes.
• Efficacité : Invaria réalise ces gains avec une taille de modèle 45 % plus petite (25,5 M de paramètres contre 124,8 M+ pour les concurrents) et une réduction de 40 % des tokens d'entrée.
• Études d'Ablation : Les expériences confirment que la calibration du champ récepteur et la tâche de prédiction de la prochaine résolution sont toutes deux critiques ; le retrait de l'une ou l'autre entraîne une baisse significative des performances sous des décalages de résolution.

Signification et Revendications

L'article revendique que Invaria adresse un goulot d'étranglement fondamental dans la perception 3D : l'incapacité des modèles actuels à généraliser à travers les résolutions et échelles variables rencontrées dans le déploiement robotique réel. En déplaçant l'objectif d'entraînement de "l'ajustement à une résolution spécifique" vers "la prédiction d'invariants structurels à travers les résolutions", le modèle apprend des caractéristiques sémantiques robustes.

Les auteurs soulignent que cette approche offre un double avantage :

1. Robustesse : Elle élimine l'effondrement des performances observé dans les modèles existants lorsque les conditions au moment du test (résolution/échelle) diffèrent de l'entraînement.
2. Efficacité : Elle permet l'utilisation d'entrées de plus basse résolution pour atteindre une compréhension sémantique de haute résolution, réduisant drastiquement le coût computationnel associé aux architectures de backbones basées sur les transformateurs.

L'article conclut que tandis que les méthodes actuelles reposent sur l'augmentation des données et de la taille du modèle pour améliorer la généralisation, Invaria atteint des caractéristiques invariantes grâce à des changements architecturaux et de paradigme d'entraînement, offrant une voie plus efficace pour la perception 3D réelle.