FactoryLLM: A Safe and Open-Source AI Playground for Evaluating LLMs in Smart Factories
FactoryLLM is een veilige, open-source AI-playground die de evaluatie van op LLM gebaseerde retrieval-augmented generation modellen voor foutdiagnose over verschillende machines in slimme fabrieken mogelijk maakt door een gecontroleerde omgeving te bieden voor testen zonder gevoelige industriële gegevens bloot te stellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een moderne fabriek niet voor als een verzameling geïsoleerde machines, maar als een gigantisch, onderling verbonden orkest. Wanneer één instrument (zoals een robotarm) een valse noot speelt, klinkt dat niet alleen slecht; het verstoort het ritme van de hele band, wat een cascade aan verwarring veroorzaakt.
Het probleem is dat de "bladmuziek" (de reparatiehandleidingen) voor dit orkest verspreid is. De handleiding voor de robotarm staat in het ene boek, de handleiding voor de lopende band in een ander, en de software die hen aanstuurt in een derde. Ze gebruiken allemaal verschillende jargon. Wanneer een machine defect raakt, moet een menselijke technicus door honderden pagina's in verschillende boeken bladeren om te achterhalen of het probleem bij de hardware of de software ligt. Het is alsoast een mysterie proberen op te lossen door drie verschillende woordenboeken te lezen die in verschillende talen zijn geschreven.
Maak kennis met FactoryLLM.
Beschouw FactoryLLM als een superintelligent, open-source "detectivebureau" dat specifiek is gebouwd voor fabrieksmedewerkers. Het is niet alleen een hulpmiddel om één machine te repareren; het is een speelplaats die ontworpen is om te testen hoe goed Kunstmatige Intelligentie (AI) de verbanden kan leggen tussen alle de verschillende machines.
Dit is hoe het werkt, met behulp van enkele eenvoudige analogieën:
1. De Veilige Zandbak
Fabrieken zijn meestal terughoudend met het delen van hun geheime handleidingen met de cloud vanwege privacyzorgen. FactoryLLM is als een veilige, privé zandbak. Het stelt gebruikers in staat om AI-modellen direct op hun eigen computers te draaien (met behulp van open-source software) zonder dat gevoelige industriële gegevens ooit naar de buitenwereld worden verzonden. Het is een gecontroleerde omgeving waar je veilig kunt experimenteren.
2. De "Cross-Machine" Hersenen
De meeste AI-tools zijn als specialisten die slechts één onderwerp kennen. Als je hen naar een automotor vraagt, weten ze misschien veel, maar als je hen naar de verkeersregels vraagt die invloed hebben op die auto, raken ze misschien in de war.
FactoryLLM is ontworig om een generalistische detective te zijn. Het neemt de handleidingen van een specifieke robot (het "Autonomous Intelligent Vehicle" of AIV) en de software die het aanstuurt (de "Mobile Planner") en voegt deze samen tot één gigantische kennisbank. Vervolgens test het of de AI vragen kan beantwoorden die een begrip vereisen van zowel de robot als de software tegelijkertief.
3. Het "Dubbelcheck"-systeem
Hoe weten we dat de AI niet gewoon dingen verzint (hallucineert)? FactoryLLM gebruikt een twee-rechters-systeem:
- Rechter A (RAGAS): Dit is als een strenge bibliothecaris die controleert of het antwoord van de AI daadwerkelijk wordt ondersteund door de pagina's die hij heeft gelezen.
- Rechter B (LLM-as-a-Judge): Dit is een andere AI die optreedt als een senior redacteur, die het antwoord beoordeelt om te zien of het logisch is.
Dit zorgt ervoor dat de AI niet simpelweg gokt, maar zijn antwoorden baseert op de werkelijke tekst van de handleidingen.
4. De Praktijktest
De auteurs testten dit systeem met een real-world scenario: een slimme fabrieksrobot en de fleet management software ervan. Ze voedden het systeem met ongeveer 600 pagina's aan technische documentatie van beide bronnen.
Vervolgens stelden ze de AI 30 lastige vragen die vereisten dat er een verband werd gelegd tussen een probleem op de robot en een instelling in de software.
- Het resultaat: Elk AI-model dat ze testten presteerde zeer goed, met een "groundedness" score boven de 0,88. Dit betekent dat de AI succesvol de juiste informatie in de enorme stapel documenten heeft gevonden en deze heeft gebruikt om een correct, op bewijs gebaseerd antwoord te geven.
Waarom dit ertoe doet
Het artikel betoogt dat we wel AI hebben die één handleiding kan lezen, maar we hebben niet veel tools die meerdere handleidingen tegelijk kunnen lezen en begrijpen hoe ze met elkaar interageren. FactoryLLM vult dit gat. Het is een open-source toolkit waarmee iedereen in de productiewereld verschillende AI-modellen kan testen om te zien welke het beste is in het oplossen van deze complexe, cross-machine puzzels, terwijl ze hun gegevens veilig en privé houden.
Kortom: FactoryLLM is een testgrond die bewijst dat AI een behulpzame partner kan zijn bij het ontrafelen van het complexe web van moderne fabrieksproblemen, mits we het de juiste tools en veiligheidscontroles geven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.