Exposing Contextual Amnesia in Vision–Language Segmentation: A Diagnostic Benchmark of Compositional, Relational, and Absence-Aware Referring Expressions
Cet article expose un mode de défaillance critique d'« amnésie contextuelle » dans les modèles de segmentation vision-langage de pointe, démontrant, à travers un nouveau benchmark synthétique, que ces systèmes s'effondrent systématiquement face aux invites relationnelles, de négation et de cible vide malgré un fort ancrage d'attributs, tout en montrant que des architectures plus petites, initialisées aléatoirement, et des techniques d'adaptation ciblées peuvent surpasser de manière significative les cascades existantes de plusieurs milliards de paramètres.