Synthetic Defect Image Generation for Power Line Insulator Inspection Using Multimodal Large Language Models

Dit paper introduceert een methode om synthetische defectbeelden van hoogspanningsisolatoren te genereren met behulp van multimodale grote taalmodellen, waardoor de prestaties van defectdetectiemodellen aanzienlijk verbeteren in scenario's met beperkte realistische trainingsdata.

De kern

Stel je voor dat je een enorme, oude keramische schaal (een isolator) hebt die hoog boven de grond hangt aan een elektriciteitsmast. Deze schalen zijn cruciaal: ze houden de stroom vast en zorgen dat hij niet ontsnapt. Maar na verloop van tijd kunnen ze barsten of hun glans verliezen. Als dat gebeurt, kan er een stroomstoring ontstaan.

Om dit te voorkomen, vliegen drones rond en maken ze duizenden foto's van deze schalen. Het probleem? De defecte schalen zijn heel zeldzaam. Het is alsof je duizenden gezonde appels hebt, maar slechts een paar rotte exemplaren om te leren herkennen. Als je een computer wilt leren om die rotte appels te zien, heb je veel voorbeelden nodig. Maar die zijn er niet, en ze zijn vaak geheim (bedrijfseigen).

Dit artikel beschrijft een slimme oplossing om dit probleem op te lossen, zonder dat je duizenden nieuwe drones hoeft te sturen.

De Oplossing: Een Digitale "Kopieer- en Plak-Boodschappenlijst"

De onderzoekers gebruiken een heel krachtig kunstmatige intelligentie-systeem (een "Multimodal Large Language Model" of MLLM). Je kunt dit zien als een super-slimme kunstenaar die je kunt vertellen: "Teken een gebroken keramische schaal, maar maak hem anders dan de vorige."

In plaats van te wachten tot de natuur een nieuw defect creëert, laten ze deze AI nieuwe, nep-defecten "dromen" die er echt uitzien.

Hoe werkt het? (De 3 Slimme Stappen)

De onderzoekers hebben een proces bedacht om ervoor te zorgen dat deze AI-kunstenaar niet zomaar willekeurige rommel maakt. Ze gebruiken drie slimme trucs:

1. De "Twee-Vrienden" Truc (Diversiteit)
Stel je voor dat je een schilderij wilt maken van een gebroken schaal. Als je alleen naar één foto kijkt, ga je waarschijnlijk exact diezelfde foto kopiëren. Dat helpt niet.
De onderzoekers geven de AI daarom twee verschillende foto's tegelijk te zien van gebroken schalen. De AI moet dan een nieuwe foto maken die een mix is van beide: "Neem de breuk van foto A, maar doe het op de achtergrond van foto B." Zo ontstaan er veel meer verschillende soorten breuken, in plaats van steeds dezelfde kopie.

2. De "Kunstcriticus" (Menselijke Controle)
Soms maakt de AI rare dingen, zoals een schaal die uit rubber lijkt te zijn gemaakt of een breuk die er niet echt uitziet.
Daarom hebben ze een menselijke "kunstcriticus" ingeschakeld. Deze kijkt snel naar de gegenereerde foto's en zegt: "Ja, dit is een echte breuk" of "Nee, dit is geknutsel." Dit is heel snel en goedkoop, maar zorgt ervoor dat alleen de beste foto's worden gebruikt.

3. De "Meting" (Embedding Selectie)
Niet alle goedgekeurde foto's zijn even goed. Sommige zijn net iets te vaag of te vreemd.
De onderzoekers gebruiken een meetlat (een wiskundige berekening) om te kijken hoe dicht een nep-foto bij de "gemiddelde echte foto" staat. Ze kiezen alleen de nep-foto's die het meest lijken op de echte wereld, en gooien de rest weg. Dit zorgt ervoor dat de computer die de defecten moet leren herkennen, niet wordt afgeleid door rare nep-beelden.

Het Resultaat: Een Sprong in Leervermogen

Het resultaat is opmerkelijk:

• Zonder deze trucjes kon de computer maar ongeveer 62% van de defecten goed herkennen (met weinig echte foto's).
• Met de door de AI gegenereerde "nep-foto's" als extra oefenmateriaal, steeg dit naar 74%.

Dat klinkt misschien niet als een enorm verschil, maar in de wereld van kunstmatige intelligentie is dat een enorme sprong. Het is alsof je een student die 62% haalde, ineens naar 74% tilt door hem een extra boek te geven dat door een slimme robot is geschreven.

Waarom is dit belangrijk?

• Snelheid: Je hoeft niet maanden te wachten tot er genoeg echte defecten zijn verzameld.
• Kosten: Het is veel goedkoper dan het sturen van extra drones of het bouwen van dure eigen computersystemen.
• Veiligheid: Door de defecten sneller te herkennen, kunnen energieleveranciers storingen voorkomen en blijft het licht aan.

Kortom: De onderzoekers hebben een manier gevonden om een slimme AI te gebruiken als een "tijdmachine" voor data. Ze creëren virtuele voorbeelden van zeldzame defecten, zodat de computersystemen die onze stroomnetwerken bewaken, veel slimmer en veiliger worden, zelfs als er maar weinig echte voorbeelden beschikbaar zijn.

Technische samenvatting

Probleemstelling

Elektriciteitsbedrijven vertrouwen steeds meer op dronebeelden voor inspectie van hoogspanningsleidingen, maar het trainen van nauwkeurige klassificatiemodellen voor defecten blijft een uitdaging. De kernproblemen zijn:

• Data-schaarste: Defecte voorbeelden zijn intrinsiek zeldzaam, en inspectiedatasets zijn vaak beperkt, proprietair of niet openbaar.
• Beperkingen van bestaande methoden:
  • Traditionele augmentatie (rotatie, kleurwijziging) creëert geen nieuwe defectpatronen en lost het probleem van intra-klass diversiteit niet op.
  • Generatieve modellen (zoals GANs of Diffusion) vereisen vaak veel data, gespecialiseerde expertise en rekenkracht om te trainen of te fine-tunen, wat contraproductief is in data-scarce scenario's.
  • Zero-shot modellen (zoals CLIP) lijden vaak onder domeinverschuiving en kunnen subtiele, lokale defectsignalen moeilijk onderscheiden.

Het doel is dus om een praktische, laagdrempelige oplossing te vinden om synthetische defectbeelden te genereren zonder dat er een specifiek model voor getraind hoeft te worden.

Methodologie

De auteurs stellen een pipeline voor die gebruikmaakt van een kant-en-klaar Multimodaal Groot Taalmodel (MLLM), specifiek Gemini 3 Pro Image, om synthetische defectbeelden te genereren. De aanpak bestaat uit drie hoofdblokken:

1. Dual-Reference Conditioning (Voor Diversiteit):

   • In plaats van één referentiebeeld te gebruiken (wat leidt tot "mode collapse" en near-duplicates), wordt elk synthetisch beeld gegenereerd op basis van twee willekeurig geselecteerde referentiebeelden uit dezelfde defectklasse.
   • De prompt instrueert het model om structurele elementen van beide referenties te combineren en variatie te introduceren in kleur, achtergrond, hoek en belichting.

2. Iteratieve Prompt Engineering en Menselijke Verificatie (Voor Kwaliteit):

   • Er wordt een iteratief proces gebruikt waarbij prompts worden verfijnd op basis van foutenpatronen (bijv. onduidelijke defecten of onrealistische texturen).
   • Class-specifieke prompts worden ontwikkeld die positieve definities geven van het defect, disambiguering cues toevoegen (bijv. specifieke randkleuren bij glazuurschade), en schaal/frequentie beperken.
   • Een lightweight "human-in-the-loop" verificatiestap zorgt ervoor dat een expert onrealistische of verkeerd gelabelde beelden verwijdert voordat ze in de trainingsset worden opgenomen.

3. Embedding-based Selectie (Voor Filteren):

   • Niet alle gegenereerde beelden zijn even bruikbaar. Een geautomatiseerde filter selecteert de hoogste kwaliteit beelden.
   • Beelden worden ingebed in een feature-ruimte (gebruikmakend van een op ImageNet voorgetrainde ResNet-18).
   • De synthetische beelden worden gesorteerd op hun Euclidische afstand tot het centroïde van de echte trainingsdata. Alleen de beelden die het dichtst bij dit centroïde liggen (dus het meest "in-distribution" zijn) worden geselecteerd voor training.

Dataset: De methode wordt getest op een publieke dataset van UAV-beelden van keramische isolatoren. De defecten zijn ingedeeld in twee klassen: Shell damage (breuken/chips aan de rand) en Glaze damage (verkleuring/afbladdering van het glazuur). Het experiment focust op een realistisch scenario met weinig data: slechts 10% van de trainingsset (104 beelden) wordt gebruikt als basis.

Belangrijkste Bijdragen

1. Dual-Reference Strategie: Een nieuwe aanpak om de diversiteit van gegenereerde beelden te vergroten en mode collapse te voorkomen door twee referenties te combineren.
2. Kwaliteitsborging: Een gestructureerd proces van prompt-tuning en menselijke verificatie om de label-nauwkeurigheid en realisme te waarborgen zonder zware fine-tuning van het generatieve model.
3. Embedding-based Filtering: Een schaalbare methode om synthetische data te filteren op basis van hun afstand tot de echte data-verdeling, wat de bruikbaarheid voor downstream training maximaliseert.
4. Praktische Validatie: Het aantonen dat een "off-the-shelf" MLLM, zonder eigen training, superieur is aan traditionele augmentatie en fine-tuning van diffusion-modellen (zoals DreamBooth) in data-scarce industriële settings.

Resultaten

De experimenten tonen aanzienlijke verbeteringen aan in de defectclassificatie:

• Prestatieverbetering: De F1-score (harmonisch gemiddelde van precisie en recall) op de testset steeg van 0.615 (alleen 10% echte data) naar 0.739 bij toevoeging van de geselecteerde synthetische data. Dit is een relatieve verbetering van 20%.
• Data-efficiëntie: Dit resulteert in een geschatte 4-5x winst in data-efficiëntie. Met andere woorden, het model presteert met 10% echte data + synthetische data net zo goed als met veel meer echte data.
• Robuustheid: De verbetering bleek consistent over verschillende backbone-modellen (ResNet-18, ResNet-50) en zelfs bij "frozen-feature" baselines (CLIP en DINOv2 met lineaire probes), wat aangeeft dat de synthetische data de representatieleer verbetert en niet alleen het model past.
• Vergelijking met Baselines:
  • RandAugment: Toonde geen consistente verbetering en soms zelfs verslechtering.
  • DreamBooth (Diffusion fine-tuning): Leverde slechts marginale verbeteringen (+0.007) ten opzichte van de basislijn.
  • Zero-shot CLIP: Presteerde slecht (F1 0.429) zonder gesuperviseerde training.
• Kosten: De totale kosten voor het genereren van de synthetische dataset bedroegen ongeveer $116, wat aanzienlijk lager is dan de kosten van één UAV-inspectievloer.

Betekenis en Conclusie

Dit onderzoek biedt een praktische, laagdrempelige route om defectherkenning te verbeteren wanneer het verzamelen van extra echte defectbeelden te traag of onhaalbaar is.

• Het bewijst dat kant-en-klare MLLM's effectief kunnen worden ingezet als "training-free" image generators voor industriële inspectie.
• De combinatie van dual-reference conditioning, menselijke verificatie en embedding-based selectie lost de problemen van diversiteit en kwaliteit op die vaak optreden bij generatieve augmentatie.
• De methode is economisch haalbaar en kan direct worden toegepast in bestaande inspectiepijplijnen om de betrouwbaarheid van defectdetectie te verhogen, vooral voor zeldzame defecttypen.

De auteurs wijzen wel op beperkingen, zoals de huidige focus op één type component en twee defectklassen, en de noodzaak om toekomstig werk te richten op cross-dataset generalisatie en schaalvergroting naar meer defecttypen.