Developing an AI Assistant for Knowledge Management and Workforce Training in State DOTs

Dit artikel stelt een Retrieval-Augmented Generation-framework voor met een multi-agent architectuur en visueel-taalmodellen om de kennisbeheer en werknemersopleiding in staatsverkeersafdelingen te verbeteren door het integreren van tekstuele en visuele documentatie voor contextbewuste, evidence-based antwoorden.

De kern

Stel je voor dat een grote verkeersdienst (zoals een "State DOT" in de VS) een enorme bibliotheek heeft. Deze bibliotheek zit vol met duizenden handleidingen, rapporten en tekeningen over hoe je wegen moet bouwen en repareren. Het probleem is dat deze boeken vaak in de kelder liggen, de tekst is soms onleesbaar voor computers, en de belangrijkste informatie zit verstopt in plaatjes en grafieken.

Wanneer een jonge ingenieur een vraag heeft over een gat in de weg, moet hij of zij uren zoeken in deze rommelige bibliotheek. Als de ervaren oude ingenieurs met pensioen gaan, nemen ze hun kennis (en hun geheugen) met zich mee. Dat is een groot risico.

Dit artikel beschrijft een slimme AI-assistent die is ontwikkeld om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Super-Bibliothecaris" met een camera

Normaal gesproken kunnen computers alleen lezen wat er in tekst staat. Ze snappen geen plaatjes.

• De oplossing: De AI heeft een speciale "bril" (een visueel-taalmodel) opgezet. Als er een grafiek of foto in een rapport staat, kijkt deze bril erop en schrijft hij een gedetailleerde samenvatting: "Dit plaatje laat zien dat asfalt X 2 jaar langer meegaat dan asfalt Y."
• Het resultaat: De AI maakt nu van elke foto en grafiek een leesbaar stukje tekst. De hele bibliotheek – inclusief de plaatjes – wordt nu één grote, zoekbare database.

2. Geen enkele robot, maar een team van specialisten

Veel AI-systemen zijn als een enkele student die een vraag krijgt en direct een antwoord probeert te bedenken. Dat gaat vaak mis (de AI "hallucineert" of verzint feiten).
Deze nieuwe AI werkt echter als een professioneel team met vier verschillende specialisten die samenwerken:

• De Ontvanger: Luistert naar de vraag van de gebruiker.
• De Zoeker (Retriever): Rent de bibliotheek in om de drie beste documenten te vinden die bij de vraag passen.
• De Schrijver (Generator): Schrijft het antwoord op basis van die documenten. Hij spreekt in simpele taal, zodat ook beginners het begrijpen, en citeert zijn bronnen.
• De Kwaliteitscontroleur (Evaluator): Kijkt kritisch naar het antwoord. "Is dit duidelijk? Is het waar? Is het compleet?"
  • Als het goed is: Het antwoord wordt naar de gebruiker gestuurd.
  • Als het niet goed is: De controleur roept de Vraag-Verbeteraar (Query Refiner) erbij. Deze denkt na: "Ah, de vraag was te vaag. Laten we hem specifieker maken en opnieuw zoeken."

Dit proces is als een revisie-rondje: de AI blijft de vraag en het antwoord verbeteren totdat het perfect is, in plaats van direct een halfslachtig antwoord te geven.

3. De proef in de praktijk

De onderzoekers hebben dit systeem getest met meer dan 500 echte rapporten van verkeersdiensten over wegenonderhoud. Ze stelden 100 moeilijke vragen, zoals: "Hoe lang gaat een bepaalde weglaag mee?" of "Wat zijn de kosten voor een specifieke reparatie?"

• Het resultaat: Het systeem vond in 94,4% van de gevallen het juiste antwoord in de top 3 resultaten.
• Vergelijking: Een traditioneel systeem (zonder dit team van specialisten) vond vaak de juiste documenten niet eens, zelfs niet als ze 5 documenten terugzochten. Het nieuwe team werkt dus veel nauwkeuriger en betrouwbaarder.

Waarom is dit belangrijk?

• Kennisbehoud: Het voorkomt dat kennis verloren gaat als ervaren ingenieurs met pensioen gaan. De AI "onthoudt" alles wat in de documenten staat.
• Snelheid: Nieuwe medewerkers hoeven niet meer uren te zoeken; ze krijgen direct een betrouwbaar antwoord.
• Veiligheid: Omdat de AI altijd verwijst naar de echte documenten en geen feiten verzint, kunnen ingenieurs sneller en veiliger beslissingen nemen over het onderhoud van onze wegen.

Kortom: Dit is geen magische robot die alles weet. Het is een slimme, zorgvuldige assistent die samenwerkt met een team van digitale specialisten om de enorme berg aan verkeersdocumenten om te zetten in heldere, betrouwbare antwoorden voor iedereen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Developing an AI Assistant for Knowledge Management and Workforce Training in State DOTs", vertaald en samengevat in het Nederlands.

Probleemstelling

Staatsdepartementen van Transport (State DOTs) in de VS kampen met ernstige uitdagingen op het gebied van kennisbeheer (Knowledge Management - KM) en personeelstraining:

• Verlies van institutionele kennis: Als senior ingenieurs met pensioen gaan, gaat waardevolle tacit kennis (ervaringskennis) verloren.
• Gefragmenteerde kennisoverdracht: Traditionele methoden zoals statische documentatie, klassikale instructie en informeel mentoraat leiden tot inefficiëntie en een steile leercurve voor nieuw personeel.
• Data-overvloed en -toegankelijkheid: Agentschappen beheren enorme hoeveelheden technische handleidingen, richtlijnen en onderzoeksrapporten. Het vinden van relevante informatie in deze ongestructureerde of semi-gestructureerde bestanden is tijdrovend en foutgevoelig.
• Beperkingen van bestaande AI: Bestaande Large Language Models (LLMs) lijden vaak aan hallucinaties, verouderde informatie en gebrek aan domeinspecifieke kennis. Traditionele Retrieval-Augmented Generation (RAG) systemen zijn vaak "single-pass" (één keer zoeken en antwoorden genereren) en missen mechanismen voor kwaliteitscontrole of iteratieve verbetering.
• Onderschatting van visuele data: Technische documenten bevatten veel cruciale informatie in figuren (grafieken, diagrammen), die door standaard RAG-systemen vaak worden genegeerd omdat ze niet direct in tekstuele vorm kunnen worden opgezocht.

Methodologie

De auteurs stellen een Multi-Agent Retrieval-Augmented Generation (RAG) raamwerk voor dat is ontworpen om deze lacunes op te vullen. Het systeem combineert geavanceerde zoektechnieken met gespecialiseerde AI-agenten.

1. Voorverwerking en Indexering (inclusief Visuele Data):

• Tekst: Documenten worden opgesplitst in chunks en omgezet in vector-embeddings.
• Figuren: Een cruciale innovatie is de verwerking van afbeeldingen. Een Vision-Language Model (VLM) (Qwen3-VL-2B-Instruct) wordt gebruikt om figuren te analyseren en om te zetten in semantisch rijke tekstuele beschrijvingen. Deze beschrijvingen bevatten de bijschrift, aslabels, trends, kwantitatieve relaties en kwalitatieve interpretaties.
• Deze tekstuele representaties van figuren worden samen met de tekst-chunks geïndexeerd in een vectordatabase (ChromaDB), waardoor visuele bewijsstukken direct vindbaar en bruikbaar zijn voor het beantwoorden van vragen.

2. Multi-Agent Architectuur:
In plaats van één enkel zoekproces, werkt het systeem met een workflow van gespecialiseerde agenten (geïmplementeerd met het AutoGen-framework):

• User Proxy Agent: Ontvangt de gebruikersvraag en doorgeeft deze.
• Retriever Agent: Zoekt relevante documenten en figuren in de database op basis van de query.
• Generator Agent: Formuleert een antwoord op basis van de gevonden context, met instructies om bronnen te citeren en een begrijpelijke toon aan te houden.
• Evaluator Agent: Beoordeelt het gegenereerde antwoord op helderheid, relevantie en volledigheid.
• Query Refiner Agent: Als het antwoord onvoldoende is (volgens de Evaluator), herschrijft deze agent de oorspronkelijke vraag om de zoekopdracht te verfijnen en triggert een nieuwe zoekronde. Dit creëert een iteratieve lus voor kwaliteitsverbetering.

3. Generatie:
De geselecteerde context (tekst + figuur-beschrijvingen) wordt ingevoerd in een open-weight LLM (Qwen3-4B-Instruct-2507) om het definitieve, op bewijs gebaseerde antwoord te genereren.

Belangrijkste Bijdragen

1. Multi-Agent RAG Framework: Een systeem dat zoekopdrachten, generatie, evaluatie en query-verfijning splitst in gespecialiseerde agenten, wat leidt tot hogere nauwkeurigheid dan traditionele single-pass RAG-systemen.
2. Integratie van Visuele Kennis: Het behandelen van figuren als volwaardige kennisunits. Door figuren te converteren naar semantische tekst, wordt visuele informatie (zoals prestatietrends en vergelijkingen) direct zoekbaar en integreerbaar in het antwoordproces.
3. Domeinspecifieke Toepassing: Het systeem is specifiek getest en getraind op de complexe, technische context van State DOTs, met name voor wegonderhoud en -beheer.
4. Transparante Evaluatie: Het bieden van meetbare prestatie-indicatoren onder realistische werkomstandigheden met een grote corpus aan technische documenten.

Resultaten

Het systeem werd getest met een corpus van 521 technische en onderzoeksdocumenten van diverse State DOTs (o.a. Texas, Californië, New York) en 100 domeinspecifieke vragen over wegbeheer (bijv. levensduur van oppervlaktebehandelingen, kosten, prestatie-modellen).

• Retrieval Performance:
  • Recall@3: 94,4% (Bijna alle relevante documenten werden gevonden binnen de top 3 resultaten).
  • Precision@3: ~100% (Alle drie de geretrieveerde documenten waren relevant).
• Vergelijking met Single-Pass RAG:
  • Een traditioneel single-pass RAG-systeem bereikte slechts een Recall@5 van 58%.
  • Het multi-agent systeem verbeterde dit aanzienlijk door iteratieve query-verfijning, waardoor relevante documenten die bij de eerste zoekopdracht werden gemist, alsnog werden gevonden.
• Kwaliteit: Het systeem produceerde gestructureerde, bronverwijzende antwoorden die gebaseerd waren op de werkelijke documenten, wat hallucinaties minimaliseerde.

Betekenis en Toekomstperspectief

• Praktische Impact: Het systeem biedt een schaalbare oplossing voor kennisbehoud in overheidsinstanties, vermindert de leercurve voor nieuw personeel en ondersteunt snellere, datagedreven besluitvorming in het veld.
• Kostenefficiëntie: Het is ontworpen om te draaien op standaard computinfrastructuur zonder gespecialiseerde hardware, wat het toegankelijk maakt voor overheidsbudgetten.
• Beperkingen: De huidige studie is beperkt tot wegbeheer (pavement engineering). De automatische verwerking van figuren vereist momenteel nog menselijke tussenkomst voor het extraheren van screenshots, wat de schaalbaarheid beperkt.
• Toekomstig Werk: De auteurs plannen uitbreiding naar andere domeinen binnen transport (verkeersveiligheid, brugbeheer, verkeersstromen) en verdere automatisering van de figuurverwerking om een universele AI-assistent voor transportagentschappen te creëren.

Kortom, dit artikel demonstreert dat een multi-agent RAG-aanpak, gecombineerd met visuele taalmodellen, een krachtige oplossing biedt voor de complexe kennisuitdagingen in de infrastructuursector, met name door de integratie van zowel tekstuele als visuele bewijsvoering.