Technische Samenvatting: RoCo-ACE

Probleemstelling

Multimodale Large Language Models (MLLM's) vereisen updates om nieuwe feitelijke of domeinspecifieke kennis te absorberen na implementatie. Echter, standaard strategieën voor kennisinjectie worden geconfronteerd met een fundamentele injectie-retentie-trade-off:

• Directe Fitting (SFT/LoRA): Het direct optimaliseren op autoritatieve antwoorden verbetert de nauwkeurigheid van de geïnjecteerde kennis, maar veroorzaakt vaak significante drift in niet-geüpdatet gedrag (bijv. visuele gronding, veiligheid, algemeen redeneren) door imitatie van volledige antwoorden en stijl-overfitting.
• Beperkte Updates: Methoden die de update-ruimte beperken (bijv. LoRA-varianten, null-space constraints) beperken drift, maar slagen er vaak niet in om supervisie te lokaliseren naar specifieke feitelijke eenheden, wat resulteert in een ondermaatse injectie van doel-feiten.
• Online Distillatie: Trainen op door het model gegenereerde rollouts in plaats van vaste targets houdt updates dicht bij het huidige beleid. Echter, uniforme referentie-geconditioneerde distillatie biedt grove supervisie. Het verdeelt gradiëntmassa willekeurig over generieke bewoordingen, niet-doelgerichte visuele details en antwoordstijl, terwijl het tokens die door de referentie worden ondersteund onderbelicht en slechts indirecte supervisie biedt voor feiten die in de huidige rollout ontbreken.

De kernuitdaging is het bereiken van fijnmazige supervisie die specifieke feitelijke ankers bijwerkt zonder het model te dwingen de volledige referentie-antwoord te klonen of de algemene capaciteiten te degraderen.

Methodologie: RoCo-ACE

De auteurs stellen RoCo-ACE voor, een rollout-geconditioneerde online distillatie-objectief ontworpen om ijle feitelijke inhoud te injecteren terwijl retentie behouden blijft. De methode werkt op een dataset van prompts ($x_i$), afbeeldingen ($I_i$) en autoritatieve referentie-antwoorden ($a_i$). Voor elk voorbeeld genereert het student-model $p_\theta$ een on-policy rollout $y_i$.

Het objectief combineert twee complementaire componenten:

1. RoCo: Rollout-Conditioned Contrastive Online Distillation

RoCo adresseert het probleem van de granulariteit van supervisie voor tokens die reeds aanwezig zijn in de student-rollout. Het maakt gebruik van een teacher-model $q_\phi$ (een exponential moving average van de student) om dezelfde rollout-prefix te scoren onder twee condities:

• Base View ($q_{base}$): Geprompt met enkel de gebruikersinput en de afbeelding.
• Reference View ($q_{ref}$): Geprompt met de gebruikersinput, de afbeelding en het autoritatieve referentie-antwoord.

De methode berekent een likelihood contrast ($\Delta_{i,t}$) voor elke token $t$ in de rollout:
$$\Delta_{i,t} = \log q_{ref}(y_{i,t} | \dots) - \log q_{base}(y_{i,t} | \dots)$$
Tokens met een positief contrast (dat wil zeggen: hun waarschijnlijkheid neemt significant toe wanneer de referentie beschikbaar is) worden geïdentificeerd als referentie-ondersteund. RoCo heralloceert extra distributiegewichten naar deze tokens, terwijl generieke of niet-ondersteunde tokens slechts een "vloer"-distillatiesignaal ontvangen. Dit zorgt ervoor dat het model leert specifieke feitelijke segmenten af te stemmen op de referentie, zonder de volledige antwoordstijl uniform te moeten imiteren.

2. ACE: Anchored Cross-Entropy

RoCo kan geen feiten superviseren die ontbreken in de student-rollout. ACE adresseert dit dekkingsgat door het toepassen van ijle gesuperviseerde correctie op geëxtraheerde autoritatieve ankers (bijv. entiteiten, datums, getallen) uit het referentie-antwoord.

• Coverage Scoring: Het systeem berekent een dekkingsscore $\rho_i(s, y_i)$ voor elk feitelijk segment $s$ in de referentie ten opzichte van de student-rollout.
• Weighted Correction: Segmenten die ontbreken of zwak gedekt zijn, ontvangen hogere gewichten. De loss wordt berekend als een gewogen cross-entropy over enkel de anchor-tokens in de referentie:
  $$L_{ACE} = - \sum_{k \in A_i} u_{i,k} \log p_\theta(a_{i,k} | \dots)$$
  waarbij $u_{i,k}$ het anchor-gewicht is. Dit biedt directe supervisie voor ontbrekende feiten zonder het volledige referentie-antwoord als een token-niveau imitatie-target te behandelen.

Totaal Objectief

De uiteindelijke loss combineert de gewogen rollout-distillatie en de ijle anchor-correctie:
$$L = \frac{1}{|B|} \sum_{i \in B} (\lambda_{RoCo} L_{RoCo}^{(i)} + \lambda_{ACE} L_{ACE}^{(i)})$$

Belangrijkste Bijdragen

1. Identificatie van de Granulariteit van Supervisie: Het artikel identificeert dat uniforme online distillatie er niet in slaagt om onderscheid te maken tussen referentie-ondersteunde feitelijke tokens en generieke bewoordingen, wat leidt tot suboptimale injectie en retentie.
2. RoCo-ACE Framework: De introductie van een duaal-objectief systeem:
   • RoCo: Gebruikt dezelfde rollout-likelihood contrast om referentie-ondersteunde tokens te herwegen, wat de feitelijke afstemming on-policy versterkt.
   • ACE: Voegt ijle, geankerde correctie toe voor ontbrekende autoritatieve feiten, wat dekking garandeert zonder volledige antwoord-klonering.
3. Empirische Validatie: Uitgebreide experimenten over drie kennisinjectie-settings (EVOKE, VP, Sci) en zes retentie-benchmarks tonen aan dat RoCo-ACE een superieure nauwkeurigheid van geïnjecteerde kennis bereikt, terwijl het retentieniveaus behoudt die dicht bij het basismodel en de online-distillatie baselines liggen.

Experimentele Resultaten

De auteurs evalueerden RoCo-ACE met Qwen3-VL-8B (en Qwen3-VL-30B in de appendixen) tegen baselines inclusief SFT, LoRA, KORE, SDFT en diverse methoden voor gecontroleerde updates.

• Injectie-nauwkeurigheid: RoCo-ACE behaalde de hoogste nauwkeurigheid van geïnjecteerde kennis in alle settings. Op de EVOKE-benchmark bereikte het een nauwkeurigheid van 27,6%, waarmee het de sterke gecontroleerde baseline KORE (25,2%) en de directe-fitting SFT (20,1%) versloeg.
• Retentie: Cruciaal is dat RoCo-ACE een Ret. Avg. (gemiddelde retentie over zes benchmarks) van 56,5% behield, wat aanzienlijk hoger is dan SFT (31,8%) en KORE (47,0%), en vergelijkbaar met het basismodel (57,2%) en de online distillatie baseline SDFT (55,1%).
• Ablatie-studies:
  • Het verwijderen van de contrastieve weging (RoCo) en het gebruiken van uniforme gewichten verminderde de injectie-nauwkeurigheid.
  • Het verwijderen van de anchor-correctie (ACE) resulteerde in een lagere injectie-nauwkeurigheid, met name voor ontbrekende feiten.
  • Het gebruik van volledige referentie Cross-Entropy (SFT) naast distillatie verbeterde de injectie minder effectief dan ACE en degradeerde de retentie ernstiger, wat bevestigt dat ijle anchor-correctie superieur is aan volledige antwoord-imitatie.
• Kwalitatieve Analyse: Casestudies lieten zien dat RoCo nuttige on-policy inhoud benadrukt (bijv. "street art", "Amsterdam"), terwijl ACE specifieke ontbrekende ankers corrigeert (bijv. "STRAAT Museum", specifieke datums) die de rollout aanvankelijk wegliet.

Betekenis en Claims

Het artikel claimt dat RoCo-ACE effectief de injectie-retentie-trade-off oplost door de focus te verschuiven van gedragsclonering naar feitelijke afstemming. Door de supervisie van referentie-ondersteunde rollout-tokens te ontkoppelen van de correctie van ontbrekende ankers, injecteert de methode ijle feitelijke inhoud zonder het volledige referentie-antwoord tot een doelwit voor gedragsclonering te maken.

De auteurs positioneren RoCo-ACE als een complementaire benadering voor parameterspecifieke beperkingen; in plaats van te beperken waar het model kan veranderen, verbetert het hoe het model wordt gesuperviseerd tijdens de update. De methode is specifief ontworpen voor situaties waarin updates vergezeld gaan van autoritatieve natuurlijke taal-referenties, waardoor het geschikt is voor de injectie van entiteit-, gebeurtenis- en domeinspecifieke kennis in MLLM's. De auteurs merken bescheiden op dat retentie empirisch wordt geëvalueerd op held-out benchmarks en dat er geen formele garanties worden gegeven voor alle niet-geüpdatete capaciteiten.