8935 articles
DeepEyes est un modèle vision-langage entraîné par apprentissage par renforcement qui apprend nativement à « réfléchir avec des images » en intégrant activement l'information visuelle dans son raisonnement, améliorant ainsi ses performances en perception, en raisonnement mathématique et en réduction des hallucinations sans nécessiter de données de raisonnement préalables.
Le papier présente GradPCA, une méthode de détection hors distribution qui exploite la structure de rang faible des gradients induite par l'alignement du NTK via l'ACP, offrant des performances supérieures et un cadre théorique pour guider la conception de détecteurs spectraux.
Ce papier présente DTR, une méthode de défense à l'inférence qui atténue les attaques de contournement multimodales dans les modèles vision-langage en optimisant dynamiquement les caches clé-valeur pour ajuster les poids des tokens visuels, améliorant ainsi la robustesse sans compromettre les performances générales.
L'article présente Seek-CAD, une méthode sans entraînement pionnière qui utilise le modèle de langage ouvert DeepSeek-R1 couplé à un mécanisme d'auto-affinement basé sur la rétroaction visuelle et le raisonnement en chaîne de pensée pour générer des modèles CAO paramétriques 3D, validé par un nouveau jeu de données structuré selon le paradigme SSR.
Cet article propose de nouvelles fonctions noyaux probabilistes basées sur des projections déterministes et des angles de référence pour le test d'angles, permettant d'accélérer la recherche de voisins les plus proches (ANNS) avec un débit de requêtes 2,5 à 3 fois supérieur à celui de l'algorithme HNSW.
Le papier présente Point-MoE, une architecture de type Mixture-of-Experts qui permet l'entraînement conjoint à grande échelle de modèles de segmentation sémantique 3D sur des ensembles de données hétérogènes sans étiquettes de jeu de données, en utilisant des experts spécialisés activés de manière parcimonieuse pour surmonter les biais inhérents aux différentes sources de nuages de points.
Le papier présente SenseFlow, une méthode de distillation qui surmonte les difficultés de convergence de la distillation par correspondance de distribution sur les grands modèles de génération d'images basés sur le flux (comme SD 3.5 et FLUX) grâce à une alignement de distribution implicite et un guidage intra-segment, permettant d'obtenir des performances supérieures.
Cette étude présente FaceCoT, le premier jeu de données VQA à grande échelle pour la détection de falsification faciale, enrichi par un modèle de légende optimisé par apprentissage par renforcement et une stratégie d'apprentissage progressif (CEPL) qui exploitent le raisonnement par chaîne de pensée pour améliorer la robustesse et l'interprétabilité des modèles multimodaux.
Ce travail présente OmniSpatial, un benchmark complet et difficile fondé sur la psychologie cognitive pour évaluer le raisonnement spatial des modèles vision-langage, révélant leurs limites actuelles et proposant des stratégies d'amélioration telles que PointGraph et SpatialCoT.
Le papier présente UniCUE, un cadre unifié innovant qui génère directement de la parole à partir de vidéos de langage des signes chinois sans passer par un texte intermédiaire, en s'appuyant sur un nouveau jeu de données à grande échelle et en intégrant des tâches de reconnaissance pour guider la génération audio.
Cette étude propose une méthode améliorée de détection hors distribution pour les animaux sauvages, démontrant que l'approche paramétrique Nearest Class Mean (NCM) combinée à des caractéristiques préentraînées sur ImageNet surpasse significativement les méthodes existantes pour identifier les membres de la « Big Five » africaine et ainsi atténuer les conflits homme-faune.
Cet article propose une méthode d'adaptation méta-learnée par distillation de prompts souples à partir de caractéristiques visuelles pertinentes, permettant aux modèles multimodaux de grande taille d'améliorer significativement leurs performances en question-réponse visuelle avec peu d'exemples en surmontant les limites de l'apprentissage par contexte.
Ce papier présente BitVLA, un modèle entièrement natif en 1 bit pour la manipulation robotique qui, grâce à une conception optimisée et une stratégie d'entraînement « Quantize-then-Distill », atteint des performances comparables aux modèles pleine précision tout en réduisant la mémoire de 11 fois et la latence de 4,4 fois pour un déploiement efficace sur des dispositifs embarqués.
Le papier présente PD²GS, un cadre novateur utilisant le Gaussian Splatting pour modéliser la déformation continue d'objets articulés via un champ gaussien canonique partagé, permettant une découpe précise au niveau des parties et un contrôle fluide sans supervision manuelle, tout en étant validé par le nouveau jeu de données réel-to-sim RS-Art.
Le papier présente VITA, une méthode d'apprentissage de fonctions de valeur sans échantillon qui améliore la généralisation et le raisonnement temporel des modèles vision-langage grâce à une adaptation au moment du test et une stratégie d'échantillonnage diversifié, surpassant les méthodes existantes dans des tâches de manipulation robotique et le renforcement hors ligne.
VINCIE est une approche novatrice qui apprend l'édition d'images en contexte directement à partir de vidéos en utilisant un transformateur de diffusion à causalité bloc et un benchmark multi-tours, démontrant ainsi des performances de pointe sans dépendre de pipelines ou de modèles experts spécifiques.
Ce papier présente NIC-RobustBench, une boîte à outils open-source complète conçue pour combler le manque d'évaluations de robustesse dans la compression d'images neuronale en intégrant des attaques adverses, des stratégies de défense et des métriques d'impact sur les tâches en aval.
Cet article propose ConCM, un cadre novateur pour l'apprentissage incrémental de classes à peu d'exemples qui résout les conflits de connaissances grâce à une calibration de prototypes inspirée de la mémoire associative et à un appariement structurel dynamique, établissant ainsi de nouvelles performances de pointe sur plusieurs benchmarks.
Cet article présente VisionDrop, un cadre d'élagage visuel sans entraînement qui surmonte les désalignements intermodaux en sélectionnant des tokens visuels informatifs via une attention intra-modale, réduisant ainsi considérablement la latence et le coût computationnel des modèles vision-langage tout en préservant leurs performances.
EchoMimicV3 est un cadre efficace de 1,3 milliard de paramètres qui unifie l'animation humaine multi-tâches et multi-modale grâce à des paradigmes innovants et des stratégies d'entraînement avancées, permettant d'obtenir des performances compétitives tout en réduisant les coûts computationnels.