Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

Technische Samenvatting: Text as Partial Constraint (TPC)

Probleemstelling
Visuele-taaluitlijning vormt de basis voor open-vocabulary herkenning, retrieval en Large Vision-Language Models (LVLMs). Echter, natuurlijke taalsupervisie is inherent incompleet: bijschriften laten vaak details weg, vertrouwen op gedeelde context of variëren aanzienlijk in formulering. Bestaande methoden behandelen elk bijschrift doorgaans als een volledige doelstelling, waardoor modellen worden gedwongen uit te lijnen met view-specifieke details die mogelijk afwezig zijn in andere geldige beschrijvingen. Dit leidt tot "breekbare" matching (waarbij de prestaties dalen onder parafrasering), "over-confident" voorspellingen (waarbij het model zeer zeker is, zelfs wanneer de tekstuele beperking zwak is) en downstream hallucinaties in LVLMs. Het artikel identificeert dat huidige modellen overmatig toezeggen aan "onuitgesproken" residuen—view-specifieke afwijkingen die niet consistent worden ondersteund door meerdere caption-views van dezelfde afbeelding.

Methodologie: Text as Partial Constraint (TPC)
De auteurs stellen TPC voor, een core–residual alignment framework dat natuurlijke bijschriften herformuleert als partiële beperkingen in plaats van volledige doelstellingen. De methode werkt vanuit het uitgangspunt dat meerdere caption-views van een afbeelding een stabiele "consensus core" delen terwijl ze divergeren in een "onuitgesproken" residual ruimte.

Het framework bestaat uit vier kerncomponenten:

1. Multi-View Consensus Core: Voor een afbeelding met $K$ caption-views wordt een consensus core $c_i$ gedefinieerd als de genormaliseerde gemiddelde richting van de tekst-embeddings. Deze core vertegenwoordigt de gedeelde, view-invariante semantiek.
2. Single-View Core Filter: Om inzetbaarheid met een enkele query-tekst mogelijk te maken, wordt een lichtgewicht lineaire filter $\psi_\theta$ getraind om de consensus core $c_i$ te voorspellen vanuit een enkele view-embedding $t_{i,k}$. Dit zorgt ervoor dat het model tijdens inferentie de robuuste semantische doelstelling kan herstellen zonder meerdere bijschriften te vereisen.
3. Unsaid Residual Suppression: De tekst-embedding wordt gedecomposeerd in de voorspelde core en een orthogonaal "onuitgesproken" residu $r_{i,k}$. Een non-commitment regularisator straft expliciet de uitlijning tussen de afbeelding-embedding en deze residuen af, om te voorkomen dat het model overfit op view-specifieke details.
4. Uncertainty-Aware Contrastive Alignment: Een onzekerheidsmetriek $u_i$ wordt berekend op basis van de onenigheid (variantie) tussen de $K$ caption-views ten opzichte van de consensus. Deze onzekerheid moduleert de temperatuur $\tau_i$ in de InfoNCE loss. Wanneer bijschriften van mening verschillen (hoge onzekerheid), wordt de uitlijning "verzacht" om over-confident updates te verminderen; wanneer ze het eens zijn, wordt de uitlijning verscherpt.

De totale trainingsdoelstelling combineert de core alignment loss, een agreement loss om te garanderen dat de single-view filter overeenkomt met de consensus, en de non-commitment loss om residuen te onderdrukken.

Belangrijkste Bijdragen

1. Formalisering van Taal-underspecificatie: Het artikel formaliseert de variatie in caption-views als een vorm van taal-underspecificatie en identificeert de overmatige toezegging aan "onuitgesproken" residuen als een primaire oorzaak van breekbaarheid en hallucinatie.
2. Core–Residual Framework: Het introduceert een trainingsprincipe dat prioriteit geeft aan view-invariante semantiek en betrouwbaarheidsscores produceert die de kracht van tekstuele beperkingen volgen, terwijl het inzetbaar blijft met een enkele query.
3. Theoretische Rechtvaardiging: De auteurs bieden theoretische grenzen aan waarbij aantoont dat robuustheid verbetert door de core alignment te vergroten en de residual sensitiviteit te verkleinen. Ze demonstreren ook dat multi-view consensus fungeert als een denoising mechanisme voor incomplete tekstuele supervisie, met statistische garanties op generalisatie.

Experimentele Resultaten
TPC werd geëvalueerd op basis van zero-shot herkenning, adversariële robuustheid en LVLM transfer:

• Zero-Shot Recognition: Op ImageNet behaalde TPC 81,42% clean en 64,05% robuuste Top-1 accuratesse, waarmee het de sterkste robuuste baseline (Adv-W2S) versloeg met +5,58/+5,75. Op de Avg-14 transfer suite behaalde het 76,19% clean en 52,03% robuuste accuratesse.
• LVLM Transfer: Wanneer gebruikt als vision encoder voor LLaVA-1.5-7B, verbeterde TPC de object-hallucinatie metrieken, met een gemiddelde 85,16 POPE F1 score (verbetering van +1,36 t.o.v. Adv-W2S) en 59,57 OKVQA accuratesse.
• Robustness Analysis: TPC vertoonde een verminderde sensitiviteit voor de keuze van de caption (lagere rank volatiliteit) en een betere kalibratie onder zwakke tekstuele beperkingen. In stresstests met gecontroleerde verwijderingen van captions, behield TPC een hogere accuratesse en een lagere Expected Calibration Error (ECE) vergeleken met standaard CLIP fine-tuning.

Betekenis en Claims
Het artikel claimt dat het modelleren van tekst als een partiële beperking een praktische en principiële route is naar meer betrouwbare visuele-taal representaties. Door expliciet onderscheid te maken tussen de stabiele semantische core en de instabiele, view-specifieke residuen, pakt TPC de kernoorzaak aan van de breekbaarheid in underspecificeerde taal-supervisie. De auteurs benadrukken dat deze aanpak geen wijzigingen vereist in de architectuur van downstream LVLMs, maar eerder een robuustere "perceptuele backbone" biedt die de overmatige toezegging aan zwakke signalen vermindert. De methode wordt gepresenteerd als een drop-in vervanging voor vision encoders die complementair is aan bestaande fixes op decoding- en connector-niveau voor hallucinatie.