Technisch overzicht: Answer-Conditioned Chain-of-Thought Distillatie voor Few-Shot Industriële Visie met Kleine VLMs

Probleemstelling

Het inzetten van AI voor visuele inspectie in de productie stuit op drie kritieke knelpunten: snel veranderende eisen, de opkomst van nieuwe defecttypen en het tekort aan grote gelabelde datasets. Traditionele Convolutionele Neurale Netwerken (CNN's) vereisen duizenden gelabelde afbeeldingen, wat vaak onhaalbaar is voor fabrieken die binnen enkele dagen classifiers nodig hebben met minder dan 30 voorbeelden. Hoewel geavanceerde Vision-Language Models (VLMs) zoals GPT-4.1 afbeeldingen kunnen interpreteren zonder taakspecifieke training, is hun nauwkeurigheid bij gespecialiseerde industriële taken vaak slecht (bijv. 24,1% bij de granulometrie van betonaggregaten), en kunnen ze niet on-premises worden ingezet vanwege kosten en gegevensprivacy. Daarentegen passen kleine VLMs (1–7B parameters) wel op edge-hardware, maar wanneer ze met minimale data standaard worden gefinetuned, hebben ze de neiging om afbeelding-label paren te memoriseren in plaats van domeinkennis te leren, waardoor ze niet generaliseren.

Bestaande Chain-of-Thought (CoT) distillatiemethoden, waarbij kleinere modellen worden getraind op redeneringsverrijkte data van grotere docenten, hebben zich voornamelijk gericht op tekst-only settings of scenario's waar het docentmodel al zeer bekwaam is. Dit papier adresseert de kloof bij het toepassen van CoT-distillatie op VLMs in industriële few-shot settings waar de geavanceerde docent zelf slecht kan presteren (zoals laag als 24,1% nauwkeurigheid).

Methodologie

De auteurs stellen Answer-Conditioned CoT Distillation voor, een pipeline die ontworpen is om kleine VLMs (specifiek een 3B-parameter model) snel aan te passen aan nieuwe industriële taken met behulp van 18–30 gelabelde afbeeldingen.

1. Answer-Conditioned Reasoning Generation

In tegenstelling tot standaard CoT, waarbij een docentmodel een afbeelding classificeert en de voorspelling uitlegt, gaat deze methode ervan uit dat het geavanceerde model ($y_i$) al het juiste label kent voor een trainingsafbeelding ($x_i$).

• Proces: Het geavanceerde model ontvangt de afbeelding en het juiste grondwaarheidslabel. Het wordt geprompt om een visuele verklaring te genereren die rechtvaardigt waarom dat specifieke label correct is en waarom vergelijkbare klassen niet van toepassing zijn.
• Contrastieve Redenering: De gegenereerde beschrijvingen contrasteren expliciet de doelklasse met visueel vergelijkbare afleiders (bijv. het onderscheid maken tussen "porositeit" en "gebrek aan penetratie" in lasradiografie door vorm en distributie te beschrijven).
• Rationale: Door te conditioneren op het juiste antwoord, zorgt het systeem ervoor dat alle trainingsredeneringen gericht zijn op de juiste conclusie. Dit is cruciaal omdat als de docent eerst gevraagd zou worden te classificeren, tot 76% van de gegenereerde redeneringen onjuist zou kunnen zijn, wat de trainingsdata zou vergiftigen.

2. Data Constructie en Training

Voor elke van de $N$ gelabelde trainingsafbeeldingen construeren de auteurs twee soorten datasets:

• Direct LoRA: $N$ paren van (Afbeelding + Prompt $\to$ JSON Label).
• CoT-Augmented LoRA: $4N$ paren. Voor elke afbeelding worden drie CoT-beschrijvingen gegenereerd door het geavanceerde model, plus één direct label-paar. De CoT-paren bestaan uit de afbeelding, een prompt zonder JSON-instructies, de gegenereerde redeneringstekst en de correcte JSON-output.

De kleine VLM (Qwen2.5-VL-3B-Instruct) wordt op deze datasets gefinetuned met behulp van LoRA (Low-Rank Adaptation). Alleen de assistant response tokens dragen bij aan de loss; user prompts en image tokens worden gemaskeerd.

3. Prompt Engineering

De studie benadrukt dat de kwaliteit van de prompt doorslaggevend is. De classificatieprompt moet gedetailleerde klassedefinities, visuele beschrijvingen en contrastieve kenmerken bevatten die vergelijkbare klassen onderscheiden. Experimenten toonden aan dat het gebruik van kortere klassedefinities tijdens de training (terwijl volledige definities werden gebruikt voor evaluatie) de nauwkeurigheid met 18,1 procentpunt verlaagde, wat aangeeft dat de redenering sterk afhankelijk is van de specificiteit van de verstrekte definities.

Belangrijkste Bijdragen

1. Toepassing op Industriële VLMs: De eerste toepassing van answer-conditioned CoT-distillatie naar VLMs voor industriële few-shot classificatie, waarbij consistente verbeteringen worden aangetoond over vier taken, drie beeldmodaliteiten en vier willekeurige seeds (16/16 overwinningen).
2. Isolatie van de Kwaliteit van Redenering: Een gecontroleerd experiment met een gelijk budget bewijst dat de prestatiewinst voortkomt uit de kwaliteit van de redenering, en niet louter uit een toename van het aantal trainingsstappen of de datavolume.
3. Noodzaak van Answer-Conditioning: De auteurs demonstreren dat zonder answer-conditioning, ongeconditioneerde CoT de prestaties met wel 17,8 procentpunt kan verslechteren wanneer het docentmodel inaccuraat is.
4. Superioriteit boven Frontier Models: Een 3B-parameter model, gefinetuned op slechts 24 afbeeldingen, presteert beter dan GPT-4.1 en Gemini 2.5 Pro op gespecialiseerde industriële taken, ondanks dat de frontier-modellen tijdens de inferentie referentieafbeeldingen ontvangen.

Experimentele Resultaten

De methode werd gevalideerd op vier taken verspreid over drie modaliteiten:

• Granulometrie: Betonaggregaten-gradatie (9 klassen, fotografie).
• Staloppervlak: Defectclassificatie (6 klassen, fotografie).
• UHCS: Staalmicrostructuur (5 klassen, microscopie).
• Lasdefecten: Radiografieclassificatie (4 klassen, röntgen).

Prestatie-metrieken:

• Consistentie: De CoT-Augmented benadering presteerde beter dan Direct LoRA in alle 16 seed-taak combinaties.
• Verbetering: De gemiddelde verbeteringen varieerden van +1,7 tot +4,4 procentpunt ten opzichte van Direct LoRA.
• Vergelijking met Frontier Modellen:
  • Lasdefecten: Het gefinetunede 3B-model behaalde 75,0% nauwkeurigheid, waarmee het GPT-4.1 few-shot (65,0%) met 10,0 procentpunt versloeg.
  • Granulometrie: Het 3B-model behaalde 77,8% versus GPT-4.1's 29,6% (+48,2pp).
  • Staloppervlak: GPT-4.1 (91,1%) bleef superieur, waarschijnlijk door zijn mogelijkheid tot few-shot met referentieafbeeldingen.

Controlexperimenten:

• Gelijk Budget: Het trainen van Direct LoRA met 4x de data (gedupliceerde afbeeldingen) om het aantal stappen van CoT-Aug te evenaren, leverde geen vergelijkbare winst op; het presteerde vaak zelfs slechter of gelijk, wat bevestigt dat de winst komt van diverse redeneringssignalen, niet alleen van meer stappen.
• Unconditioned Baseline: Wanneer de docent (Gemini 2.5 Pro) niet het juiste antwoord kreeg en redeneringen genereerde op basis van zijn eigen (mogelijk onjuiste) voorspellingen, daalde de prestatie aanzienlijk (bijv. -17,8pp op Granulometrie) vergeleken met Direct LoRA, wat de "vergiftigings"-effect valideert.

Betekenis en Claims

Het artikel claimt dat Answer-Conditioned CoT Distillation een levensvatbare, efficiënte oplossing is voor het inzetten van kleine, on-premises VLMs in dynamische industriële omgevingen. De methode transformeert de beperking van kleine datasets in een kans voor hoogwaardige transfer van redenering.

• Efficiëntie: De volledige pipeline (API-generatie + LoRA-training) duurt minder dan 2 uur op een enkele NVIDIA L4 GPU, waardoor fabrieksingenieurs binnen een dag domein-aangepaste modellen kunnen inzetten.
• Robuustheid: De aanpak is essentieel voor domeinen waar frontier-modellen een gebrek aan expertise hebben. De auteurs stellen dat answer-conditioning niet optioneel is in deze settings; zonder dit kan het distillatieproces schadelijk zijn.
• Praktische bruikbaarheid: De studie benadrukt dat prompt engineering (specifiek gedetailleerde klassedefinities) integraal is aan het succes van de methode, aangezien zwakke definities leiden tot zwakke redenering.

De auteurs concluderen dat deze aanpak kleine modellen in staat stelt om grotere frontier-modellen te overtreffen op gespecialiseerde taken wanneer zij beperkt zijn tot minimale gelabelde data, mits de redenering geconditioneerd is op de grondwaarheid.