SemiFA: An Agentic Multi-Modal Framework for Autonomous Semiconductor Failure Analysis Report Generation

Dit paper introduceert SemiFA, een autonoom multi-modaal agentisch framework dat defecten in halfgeleiders analyseert en binnen een minuut gestructureerde falingsrapporten genereert door inspectieafbeeldingen te combineren met SECS/GEM-apparatuurdata en historische records.

De kern

Stel je voor dat een fabriek voor computerchips (halfgeleiders) een enorme, hyper-geavanceerde keuken is. In deze keuken worden de "recepten" voor chips gemaakt, stap voor stap. Soms gaat er iets mis: er valt een kruimel op de taart, de oven is net iets te heet, of een mesje is niet scherp genoeg. Dit noemen ze defecten.

In het verleden moest een ervaren chef-kok (een ingenieur) elk defect handmatig onderzoeken. Hij moest door duizenden foto's bladeren, de logs van de apparatuur controleren, eerdere fouten opzoeken en vervolgens een uitgebreid rapport schrijven. Dit proces kon dagen tot weken duren. In een wereld waar duizenden wafers (de ronde schijven waarop chips worden gemaakt) per dag worden gemaakt, is dit een enorme bottleneck.

SemiFA is de oplossing die de auteurs van dit paper hebben bedacht. Het is als het introduceren van een super-slimme, autonome keukenassistent die dit hele proces in minder dan een minuut voor je doet.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. Het Team van Vier Robots (Agents)

In plaats van één grote, trage computer, heeft SemiFA een team van vier gespecialiseerde robots, die samenwerken als een goed georganiseerd team in een keuken. Ze worden aangestuurd door een "chef" (LangGraph) die zorgt dat ze in de juiste volgorde werken:

• De Ooggetuige (DefectDescriber):
  Deze robot kijkt naar de foto van de defecte chip. Hij gebruikt een heel scherp oog (een technologie genaamd DINOv2) om te zien of het een kras is, een vlekje, of een barst. Vervolgens beschrijft hij wat hij ziet in menselijke taal: "Ik zie een lange, dunne kras die lijkt op een spoor van een vlieg dat over de taart is gelopen."
• De Detective (RootCauseAnalyzer):
  Deze robot is de slimste. Hij pakt de beschrijving van de eerste robot en doet twee dingen:
  1. Hij kijkt in de historische archieven (een database met eerdere fouten) om te zien of dit al eerder is gebeurd.
  2. Hij checkt de alarmen van de apparatuur (zoals temperatuur of druk).
     Hij combineert deze info om te zeggen: "Aha! Dit krasje komt waarschijnlijk omdat de zuignap van de machine gisteren een beetje leegliep, net zoals bij fout #452 van vorige week."
• De Beoordelaar (SeverityClassifier):
  Deze robot bepaalt hoe ernstig het probleem is. Is het een klein vlekje dat je kunt negeren, of is het een ramp die de hele batch taarten moet weggooien? Hij geeft een label: Klein, Groot, of Rampzalig.
• De Chef-kok (RecipeAdvisor):
  Deze robot geeft het advies: "Om dit te fixen, moeten we de oven 2 graden kouder zetten en de mengsnelheid iets vertragen."

2. Het Eindresultaat: Het Rapport

Na al dit denken en rekenen, pakt de vijfde robot (de Rapporteur) alle stukjes informatie en maakt er in een flits een mooi, gestructureerd PDF-rapport van. Dit rapport bevat de foto, de oorzaak, de ernst en het advies.

Waarom is dit zo speciaal?

• Snelheid: Waar een mens uren of dagen over doet, doet deze robot het in 48 seconden. Dat is een versnelling van wel 150 tot 300 keer!
• Samenwerking: De robot kijkt niet alleen naar de foto. Hij combineert het beeld met de "gevoelens" van de machine (de data van de apparatuur). Zonder die machine-data zou hij niet weten waarom het fout ging, alleen dat het fout ging.
• Leren van het verleden: De robot heeft een "geheugen" (een database) waarin hij elke nieuwe fout opslaat. Hoe meer hij gebruikt wordt, hoe slimmer hij wordt, omdat hij steeds meer voorbeelden heeft om uit te putten.

De "Leerboeken" (Het Dataset)

Om deze robot slim te maken, hadden de auteurs veel voorbeelden nodig. Omdat echte fabrieksdata vaak geheim is, hebben ze een nieuw boekje gemaakt genaamd SemiFA-930.

• Dit bevat 930 voorbeelden van defecten.
• Sommige zijn echte foto's van oude datasets.
• Andere zijn door de computer zelf "gesimuleerd" (zoals een kunstmatige kras of vlek) om de robot te leren wat er mogelijk is.
• Elk voorbeeld heeft een bijbehorend verhaal (een rapport) dat de robot moet leren schrijven.

De Uitdaging: Te weinig "leesvoer"

De auteurs merkten iets interessants: de robot is heel goed in het herkennen van de fouten (92% nauwkeurig), maar als je hem probeert te "trainen" om zelf de verhalen te schrijven, wordt hij een beetje te zelfverzekerd en begint hij dingen te verzinnen die niet kloppen.
Het probleem? Er waren niet genoeg voorbeelden (slechts 790). Het is alsof je iemand wilt leren koken met alleen 3 recepten; hij zal proberen die 3 recepten uit zijn hoofd te leren in plaats van echt te begrijpen hoe koken werkt. De auteurs concluderen dat ze minimaal 5.000 tot 10.000 voorbeelden nodig hebben om de robot echt een meesterkok te maken.

Conclusie

SemiFA is een revolutionaire stap. Het is de eerste keer dat er een systeem is dat niet alleen kijkt naar een defect, maar ook de machine-data erbij haalt en een volledig, begrijpelijk rapport schrijft. Het is als het hebben van een senior ingenieur die nooit slaapt, nooit moe wordt, en binnen een minuut een oplossing heeft. Het vervangt de mens niet, maar geeft hem superkrachten zodat hij zich kan richten op de allerbelangrijkste problemen.

Technische samenvatting

Probleemstelling

De analyse van fouten in halfgeleiderproductie (Failure Analysis of FA) is een uiterst arbeidsintensief proces. Ingenieurs moeten inspectieafbeeldingen analyseren, telemetriedata van apparatuur correlateren, historische defectgegevens raadplegen en gestructureerde rapporten opstellen.

• Tijdsinvestering: Het volledige proces duurt traditioneel dagen tot weken, waarbij alleen de review- en rapportagefase al enkele uren per geval kost.
• Schalingsprobleem: Naarmate productienodes kleiner worden (onder de 5 nm), neemt het volume aan inspectie-evenementen sneller toe dan de beschikbaarheid van FA-ingenieurs.
• Kwaliteitsvariatie: De kwaliteit van rapporten hangt af van de individuele expertise; tacit knowledge van senior ingenieurs wordt niet vastgelegd, en junior ingenieurs kunnen subtiele correlaties missen.
• Tekort aan geïntegreerde systemen: Bestaande commerciële tools classificeren defecten maar genereren geen natuurlijke taalrapporten of integreren geen apparatuurstelemetrie (SECS/GEM) in redeneringen. Academisch werk focust vaak alleen op patroonherkenning zonder root-cause-analyse.

Methodologie: Het SemiFA Framework

SemiFA is een multi-modale agentische architectuur die het FA-proces automatiseert tot het genereren van gestructureerde rapporten in minder dan een minuut. Het systeem is opgebouwd rondom LangGraph en bestaat uit een pipeline van vijf knooppunten, georkestreerd door een gedeelde toestand (FAState).

1. Architectuur en Agents:
Het proces wordt opgesplitst in vier gespecialiseerde agenten, elk gebruikmakend van LLaVA-1.6 (7B parameters, 4-bit gekwantiseerd) als taalmodel en DINOv2 als visuele encoder:

• DefectDescriber: Classificeert defecten en genereert een natuurlijke taalbeschrijving van de morfologie.
  • Techniek: Gebruikt DINOv2 voor het extraheren van 768-dimensionale embeddings en een MLP-head voor classificatie. Voor wafer-kaarten worden ook ruimtelijke statistieken berekend.
• RootCauseAnalyzer: Genereert hypothesen over de oorzaak van het defect.
  • Datafusie: Combineert drie bronnen: (1) Visuele beschrijving, (2) SECS/GEM-apparatuurstelemetrie (alarmen, procesvariabelen zoals temperatuur en druk) opgehaald uit TimescaleDB, en (3) Historische vergelijkbare gevallen opgehaald via Qdrant (vectordatabase) op basis van DINOv2-embeddings.
• SeverityClassifier: Wijs een ernstniveau toe (CRITICAL, MAJOR, MINOR, NONE) en schat het rendementverlies in.
• RecipeAdvisor: Stelt corrigerende acties voor, zoals aanpassingen in procesparameters (bijv. polijsttijd verlagen, gasflow aanpassen).
• ReportGenerator: Assembleert de outputs in een gestructureerd PDF-rapport en upsert de nieuwe data in Qdrant voor toekomstig gebruik (zelflerend systeem).

2. Infrastructuur:

• Modellen: LLaVA-1.6 (Mistral-7B) en DINOv2-base.
• Dataopslag: MinIO (afbeeldingen), TimescaleDB (telemetrie), Qdrant (vectorzoekopdrachten).
• Communicatie: MQTT voor het ontvangen van SECS/GEM-berichten.

Belangrijkste Bijdragen

1. Architectuur (C1): Een vier-agenten LangGraph-pipeline die FA decomposeert in modulaire, auditabele en uitbreidbare taken.
2. Multi-modale Fusie (C2): Eerste integratie van SECS/GEM-apparatuurstelemetrie in een Vision-Language Model (VLM) pipeline voor autonome rapportage. Dit combineert visuele data, historische data en real-time machine-data.
3. Dataset (C3): Introductie van SemiFA-930, een dataset van 930 geannoteerde halfgeleiderdefect-afbeeldingen (9 klassen) gekoppeld aan gestructureerde FA-narratieven. Dit is het eerste publieke dataset dat defectafbeeldingen koppelt aan natuurlijke taalrapporten. De dataset bevat synthetische data voor ontbrekende klassen (zoals krassen en randkraken) en data uit WM-811K en MixedWM38.

Resultaten

De evaluatie vond plaats op een NVIDIA A100-SXM4-40 GB GPU.

• Classificatieprestaties:
  • De DINOv2-gebaseerde classifier bereikte 92,1% nauwkeurigheid (Macro F1 = 0,917) op de validatieset van 140 afbeeldingen.
  • Dit is significant beter dan een ResNet-50 (82,9%) en een zero-shot CLIP-model (20,7%), wat aantoont dat zelf-supervisie (DINOv2) effectief is voor dit domein met weinig gelabelde data.
• Snelheid:
  • Het volledige pipeline genereert een compleet rapport in 48,4 seconden. Dit is een versnelling van 150x tot 300x ten opzichte van de handmatige processtijd (uren tot dagen).
  • De meeste tijd wordt besteed aan de DefectDescriber (45,5%) vanwege de visuele verwerking.
• Ablatie-studie (Multi-modale Fusie):
  • Een evaluatie met een GPT-4o-judge toonde aan dat het toevoegen van apparatuurstelemetrie en historische retrieval de kwaliteit van de root-cause-redenering met +0,86 punten (op een schaal van 1-5) verbetert ten opzichte van een beeld-only baseline.
  • Apparatuurstelemetrie bleek de belangrijkste modus te zijn voor het verbeteren van de specificiteit en onderbouwing van hypothesen.
• Fine-tuning Uitdaging:
  • QLoRA fine-tuning van LLaVA-1.6 op de kleine dataset (790 voorbeelden) leidde tot ernstig overfitting. Dit suggereert dat voor stabiele domeinadaptatie van VLM's minimaal 5.000 tot 10.000 voorbeelden nodig zijn.

Significantie en Toekomstperspectief

SemiFA vertegenwoordigt een doorbraak in de automatisering van halfgeleiderproductie door:

• Democratisering van expertise: Het kodificeert de kennis van senior ingenieurs in een herbruikbaar, automatisch systeem.
• Efficiëntie: Het elimineert de bottleneck van handmatige rapportage in High-Volume Manufacturing (HVM) fabs.
• Zelflerend vermogen: Door elke FA-run op te slaan in Qdrant, verbetert het systeem zijn historische context naarmate het meer data verzamelt.

Beperkingen en Future Work:

• De dataset bestaat voornamelijk uit synthetische wafer-kaarten; prestaties op ruwe SEM- of optische micrografieën moeten nog worden gevalideerd.
• Er is een behoefte aan een grotere dataset (≥5.000 paren) om VLM's effectief te fine-tunen zonder overfitting.
• Toekomstig werk richt zich op het uitbreiden van de dataset met echte fabrieksdata, het paralleliseren van agenten voor lagere latentie, en menselijke evaluatie van de rapportkwaliteit.

Het systeem is ontworpen om ingenieurs te ondersteunen (augmenteren) en niet te vervangen, waarbij kritieke beslissingen (zoals het wegwerpen van wafers) nog steeds door gekwalificeerd personeel moeten worden goedgekeurd.