TAMUSA-Chat: A Domain-Adapted Large Language Model Conversational System for Research and Responsible Deployment

Dit paper introduceert TAMUSA-Chat, een onderzoeksvriendelijk raamwerk voor het ontwikkelen van domein-geadapteerde conversatiemodellen voor academische instellingen, dat gebruikmaakt van gecontroleerde fijne afstemming en retrieval-augmented generation om verantwoorde en transparante AI-deployments te waarborgen.

De kern

Stel je voor dat je een zeer slimme, maar algemene robot hebt die alles over de wereld weet, maar niets over jouw specifieke school. Als je die robot vraagt: "Wat zijn de voorwaarden voor de studie Toegepaste Kunsten?", zou hij misschien een heel plausibel antwoord geven dat eruitziet als waarheid, maar eigenlijk volledig verzonnen is. Hij weet niet dat jouw school specifieke regels heeft, dat de catalogus vorig jaar is veranderd, of dat er een speciale uitzondering is voor studenten die van een andere universiteit komen.

Dit is precies het probleem dat TAMUSA-Chat oplost. Hier is hoe dit werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Alleswetende" maar "Onwetende" Robot

De grote taalmodellen (zoals ChatGPT) zijn als een superintelligente student die alle boeken in de bibliotheek heeft gelezen, maar nooit op de campus van Texas A&M University-San Antonio (TAMUSA) is geweest.

• Hij kan prachtige zinnen maken.
• Maar als je hem vraagt naar specifieke regels van jouw universiteit, verzint hij dingen ("hallucineert") omdat hij die feiten niet in zijn hoofd heeft.
• Voor een universiteit is dit gevaarlijk: een verkeerd antwoord over studiefinanciering of toelating kan studenten in de problemen brengen.

2. De Oplossing: Een Speciale "Schoolgids" maken

De onderzoekers hebben TAMUSA-Chat gebouwd als een speciale, getrainde versie van die robot, die zich volledig richt op hun eigen universiteit. Ze hebben drie slimme stappen ondernomen:

Stap A: De "Onderzoekers" (Data Verzameling)

Stel je voor dat je een team hebt dat alle officiële documenten van de universiteit verzamelt: de website, de studiegidsen, de reglementen, en de FAQ's.

• Ze gebruiken een digitale "webkrabber" (een robot die door websites kruipt) om al deze informatie op te halen.
• Ze filteren het vuil eruit (zoals reclames of oude pagina's) en maken er een schone, gestructureerde verzameling van.
• Belangrijk: Ze kijken heel goed uit dat er geen privé-informatie (zoals namen of telefoonnummers) in terechtkomt. Het is puur openbare informatie.

Stap B: De "Leraren" (Training & Fine-Tuning)

Nu hebben ze een enorme stapel documenten, maar de robot moet nog leren hoe hij die informatie moet gebruiken.

• In plaats van de robot opnieuw te laten leren lezen (wat te duur en te langzaam is), geven ze hem specifieke vragen en de juiste antwoorden gebaseerd op die documenten.
• Het is alsof je de robot een speciaal schoolboek geeft met de vraag: "Wat zijn de toelatingseisen?" en het antwoord: "Je hebt een GPA van 2.5 nodig en dit formulier."
• Ze doen dit met een slimme techniek (Supervised Fine-Tuning) die de robot leert om te denken als een universiteitsmedewerker, zonder zijn algemene intelligentie te verliezen.

Stap C: De "Bibliotheek" (Retrieval-Augmented Generation)

Dit is misschien wel het slimste deel. Stel je voor dat de robot niet alleen zijn eigen geheugen gebruikt, maar ook een directe verbinding heeft met de universiteitsbibliotheek.

• Als een student een vraag stelt, kijkt de robot eerst in zijn "geheugen" (de getrainde kennis).
• Maar nog belangrijker: hij zoekt direct in de officiële documenten (de bibliotheek) om te zien wat er nu staat.
• Hij leest het antwoord op, en geeft het dan pas door aan de student.
• Het voordeel: Als de universiteit morgen een nieuwe regel invoert, hoeft de robot niet opnieuw getraind te worden. Je plakt gewoon het nieuwe document in de bibliotheek, en de robot leest het direct. Dit voorkomt dat hij verouderde of verzonnen feiten geeft.

3. Waarom is dit anders dan andere chatbots?

Veel chatbots zijn gemaakt om snel een app te lanceren. TAMUSA-Chat is gemaakt als een onderzoekslaboratorium.

• Transparantie: Elke stap is vastgelegd. Je kunt precies zien hoe de robot is getraind, met welke vragen en welke antwoorden.
• Verantwoordelijkheid: Ze hebben regels ingebouwd om te voorkomen dat de robot dingen zegt die niet kloppen. Als hij het niet weet, zegt hij dat duidelijk, in plaats van te liegen.
• Openheid: De code is gratis beschikbaar voor iedereen. Het is alsof ze het recept voor hun "schoolgids" op een open keukenplank leggen, zodat andere universiteiten het kunnen nabakken en verbeteren.

Samenvattend

TAMUSA-Chat is als het geven van een persoonlijke, actuele gids aan een superintelligente robot.

• De robot is niet langer een algemene "allesweter".
• Hij is nu een deskundige voor jouw specifieke school.
• Hij heeft een open boek (de bibliotheek) bij zich waar hij altijd in kan naslaan om zeker te zijn dat zijn antwoord klopt.
• En hij is gemaakt met zorg en aandacht, zodat studenten en medewerkers kunnen vertrouwen op wat hij zegt.

Het doel is niet alleen om een leuke chatbot te hebben, maar om een veilig, betrouwbaar en eerlijk hulpmiddel te creëren dat echt helpt binnen de academische wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TAMUSA-Chat: A Domain-Adapted Large Language Model Conversational System for Research and Responsible Deployment" in het Nederlands.

Probleemstelling

Hoewel generatieve Large Language Models (LLM's) zoals ChatGPT de natuurlijke taalverwerking hebben getransformeerd, vertonen algemene modellen aanzienlijke tekortkomingen bij toepassing in specifieke institutionele contexten, zoals universiteiten. De belangrijkste uitdagingen zijn:

• Gebrek aan context: Algemene modellen missen kennis van interne beleidsregels, specifieke terminologie, en lokale richtlijnen (bijv. toelatingseisen die variëren per jaar of transfercredits).
• Hallucinaties en onnauwkeurigheid: Modellen kunnen plausibel klinkende maar feitelijke onjuiste informatie genereren over academische programma's, wat leidt tot misinformatie en juridische risico's.
• Beperkte aanpassingsmogelijkheden: Bestaande oplossingen zijn vaak ofwel te fragiel (prompt engineering zonder parameterwijziging) of te resource-intensief (trainen van modellen vanaf nul).
• Ontbreken van reproduceerbaarheid en governance: Snelle ontwikkelingspijplijnen missen vaak transparantie, ethische auditing en gestructureerde evaluatieprotocollen die essentieel zijn voor verantwoord AI-gebruik in het onderwijs.

Methodologie

TAMUSA-Chat is een modulair, onderzoekgericht raamwerk dat is ontworpen om open-source foundation modellen aan te passen aan de specifieke behoeften van Texas A&M University–San Antonio (TAMUSA). De architectuur bestaat uit vijf functionele lagen:

1. Data Acquisition (Dataacquisitie):

   • Gebruik van Playwright voor het crawlen van institutionele websites (inclusief JavaScript-rendering) en het downloaden van documenten (PDF, Office).
   • Implementatie van governance-maatregelen: beperking tot publieke content, automatische detectie van PII (persoonlijk identificeerbare informatie), en menselijke review door vakexperts.

2. Data Processing & Embedding (Verwerking & Inbedding):

   • Conversie van ruwe content naar gestructureerde JSON-bestanden met metadata.
   • Generatie van instruction-response paren via drie strategieën: vraaggeneratie op basis van inhoud, extractie van bestaande FAQ's, en synthetische generatie met menselijke validatie.
   • Vector Embeddings: Gebruik van sentence transformers (bijv. all-MiniLM-L6-v2) om tekstfragmenten (chunks) om te zetten in dichte vectoren.
   • Indexering: Opslag in een FAISS-index (met HNSW) voor efficiënte semantische zoekopdrachten.

3. Model Fine-Tuning (Modelaanpassing):

   • Supervised Fine-Tuning (SFT): Aanpassing van open-source modellen (zoals LLaMA-2, Mistral, Falcon en specifiek SmolLM-135M-Instruct) op het gegenereerde dataset.
   • Ondersteuning voor zowel volledige fine-tuning als parameter-efficiënte methoden zoals LoRA (Low-Rank Adaptation) om rekenkracht te besparen.
   • Configuratie via YAML-bestanden voor reproduceerbare experimenten met hyperparameters (learning rate, batch size, epochs).

4. Retrieval-Augmented Generation (RAG):

   • Een hybride aanpak waarbij de fine-tuned model wordt gecombineerd met een zoeklaag.
   • Bij een gebruikersvraag wordt de query geëmbed, gezocht in de FAISS-index voor de top-k relevante documentfragmenten, en deze context wordt gevoed aan het model.
   • Dit vermindert hallucinaties door antwoorden te verankeren in verifieerbare bronnen.

5. Deployment & Utilities:

   • Ondersteuning voor diverse deployment-modi: FastAPI REST-services, Docker-containers, en cloud-integratie.
   • Uitgebreide logging, monitoring (TensorBoard) en configuratiebeheer.

Belangrijkste Resultaten en Corpus

Het paper presenteert de eerste release van het TAMUSA-LLM gebaseerd op publieke universiteitsinformatie. De statistieken van het gebruikte corpus zijn als volgt:

• Gecrawde webpagina's: 3.847
• Gedownloade documenten: 412 (PDF's, etc.)
• Totale tokens (na opschoning): 2,4 miljoen
• Unieke instruction-response paren: 8.932
• Gemiddelde antwoordlengte: 127 tokens

Het systeem is getest met een focus op de balans tussen modelgrootte, prestaties en computerkosten. De implementatie benadrukt dat zelfs compacte modellen (zoals SmolLM-135M) effectief kunnen worden aangepast voor domeinspecifieke taken met beperkte resources.

Kernbijdragen

1. Reproduceerbaar Onderzoekskader: In tegenstelling tot veel applicatie-gerichte chatbots, biedt TAMUSA-Chat een volledig gedocumenteerde, versiegecontroleerde pijplijn voor data, training en evaluatie, wat wetenschappelijke validiteit garandeert.
2. Modulaire Architectuur: De scheiding van dataacquisitie, verwerking, training en inferentie stelt onderzoekers in staat om individuele componenten (bijv. embedding-strategieën of fine-tuning-methoden) onafhankelijk te testen en te optimaliseren.
3. Verantwoord AI-gebruik: Het framework integreert ethische overwegingen, waaronder transparantie over data-provenance, mitigatie van hallucinaties via RAG, en duidelijke grenzen voor autoritaire informatie.
4. Open Source Beschikbaarheid: De volledige codebase is openbaar beschikbaar op GitHub, wat samenwerking en verdere onderzoeksmogelijkheden binnen het onderwijsdomein faciliteert.

Betekenis en Toekomstperspectief

TAMUSA-Chat demonstreert hoe academische instellingen eigen, contextueel onderbouwde conversatie-agenten kunnen ontwikkelen zonder afhankelijk te zijn van gesloten, commerciële API's. Het paper benadrukt dat domeinadaptatie niet alleen een technische uitdaging is, maar ook een governance-uitdaging.

De toekomstige werkzaamheden richten zich op:

• Uitgebreide empirische benchmarking.
• Verdere optimalisatie van Retrieval-Augmented Generation.
• Testen van weerstand tegen adversarial attacks (adversarial robustness).

Dit werk vormt een blauwdruk voor het verantwoord en transparant implementeren van LLM's in onderwijs- en onderzoeksomgevingen, waarbij de nadruk ligt op nauwkeurigheid, controle en ethische verantwoording.