Industrial-Instruction: An End-to-End Framework for Building Instruction-Tuning and Benchmark Datasets from Industrial Technical Reports
Dit artikel introduceert Industrial-Instruction, een end-to-end framework dat heterogene industriële technische rapporten transformeert naar hoogwaardige instruction-tuning datasets en benchmarks, waarbij wordt aangetoond dat hoewel frontier-modellen zoals Claude-Opus-4.6 superieure trainingsresultaten opleveren, open-weight modellen een kosteneffectief alternatief bieden voor het verbeteren van de prestaties van kleine LLM's op industriële redeneertaakken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, zoemende wereld van de moderne industrie zit cruciale kennis vaak opgesloten in dikke, onverzettelijke handleidingen. Dit zijn geen eenvoudige gidsen zoals die op een smartphone te vinden zijn; het zijn dichte technische rapporten vol specificaties, complexe tabellen en gespecialiseerde diagrammen waar ingenieurs op vertrouwen om fabrieken draaiende te houden en machines te voorkomen dat ze falen. Decennialang was deze informatie het exclusieve domein van de mens, moeilijk te doorzoeken en nog moeilijker om aan een computer te leren. De uitdaging ligt in de structuur van deze documenten: ze mengen vloeiende tekst met rigide rasters van cijfers, waardoor een formaat ontstaat dat standaard computerprogramma's moeite hebben te lezen. Hoewel kunstmatige intelligentie grote stappen heeft gezet in het begrijpen van algemene gesprekken en brede onderwerpen, is het historisch gezien gestruikkeld wanneer het werd geconfronteerd met deze specifieke, hoogwaardige industriële taal. De kloof tussen de algemene slimheid van een computer en de precieze, technische behoeften van een ingenieur is een aanzienlijke hindernis gebleven, grotendeels omdat er geen geschikte trainingsmaterialen waren om de kloof te overbruggen.
Een team van onderzoekers heeft nu een brug over die kloof gebouwd door een nieuw systeem te creëren dat is ontworpen om computers te leren hoe ze deze industriële rapporten moeten lezen en begrijpen. Ze begonnen met een enorme collectie van 906 echte technische documenten van Panasonic, die in totaal meer dan 7.500 pagina's aan dichte tekst en tabellen beslaan. De eerste stap was om een computer te leren deze documenten te zien zoals een mens dat doet. In plaats van alleen de woorden te lezen, analyseerde het systeem de lay-out, waarbij het herkende waar een tabel begon en eindigde, en hoe tekst verband hield met de grafieken ernaast. Dit stelde hen in staat de informatie nauwkeurig te extraheren, waarbij de structuur die de data bruikbaar maakt, behouden bleef. Vanuit dit geëxtraheerde materiaal vroegen ze de computer niet simpelweg om feiten te memoriseren. In plaats daarvan bouwden ze een geavanceerd trainingsproces dat vijf verschillende realistische scenario's simuleert die een ingenieur zou kunnen tegenkomen. Soms krijgt de computer een document dat relevant lijkt, maar in werkelijkheid geen antwoord bevat, wat het systeem leert te herkennen wanneer het vastloopt. Op andere tijden moet het aanwijzingen uit een enkele pagina samenvoegen, of informatie die verspreid is over meerdere verschillende rapporten samenweven om tot een oplossing te komen.
Om de vragen en antwoorden te creëren die nodig zijn om het systeem te trainen, gebruikten de onderzoekers krachtige modellen voor kunstmatige intelligentie om bijna 24.000 oefenvoorbeelden te genereren. Ze testten twee verschillende benaderingen: één met een model dat gratis beschikbaar is voor het publiek, en een andere met een premium, gesloten systeem waarvoor betaald moet worden. De resultaten waren veelzeggend. Het premium systeem produceerde schonere, nauwkeurigere trainingsdata, maar de kosten om dit te genereren waren ongeveer honderd keer hoger dan die van het open-source alternatief. Toen de onderzoekers deze nieuwe data gebruikten om kleinere, efficiëntere computermodellen te trainen, waren de resultaten spectaculair. De modellen werden aanzienlijk beter in het beantwoorden van technische vragen, waarbij hun nauwkeurigheid sprong van een baseline van ongeveer 28 procent naar meer dan 42 procent. Nog indrukwekkender was dat de modellen die getraind waren op de kwalitatief hogere data hun algemene kennis over de wereld behielden, wat aantoonde dat ze gespecialiseerde industriële vaardigheden konden leren zonder alles te vergeten wat ze al wisten.
De studie belicht ook een hardnekkige zwakte in de huidige technologie. Hoewel de nieuwe trainingsmethode de modellen hielp problemen op te lossen wanneer de vragen duidelijk geformuleerd waren, faalden de systemen volledig wanneer de vragen werden geherformuleerd of licht werden gewijzigd, zelfs als de betekenis hetzelfde bleef. Dit suggereert dat de modellen weliswaar hebben geleerd om antwoorden in de juiste documenten te vinden, maar dat ze nog niet de diepere flexibiliteit hebben ontwikkeld om te begrijpen dat een vraag die op een andere manier wordt gesteld, nog steeds dezelfde vraag is. Ondanks deze beperking biedt het werk een praktisch, reproduceerbaar pad voorwaarts. Het bewijst dat het mogelijk is om hoogwaardige trainingsdatasets te bouwen van echte industriële documenten zonder de meest dure, gesloten systemen nodig te hebben, mits het proces rigoureus is. Door statische, onleesbare handleidingen te veranderen in dynamische, leerbare kennis, biedt dit kader een manier om de kracht van kunstmatige intelligentie naar het dagelijkse werk van ingenieurs te brengen, wat onderhoud potentieel sneller, veiliger en betrouwbaarder kan maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.