⚡ electrical engineering

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Dit artikel introduceert Call2Instruct, een geautomatiseerde end-to-end pijplijn die ruisgevoelige callcenter-audio-opnames transformeert naar hoogwaardige Q&A-instructiedatasets voor het fine-tunen van LLM's via een meerfasig proces van audioverwerking, tekstreiniging en semantische matching, succesvol gedemonstreerd door het fine-tunen van een Llama 2 7B-model.

Oorspronkelijke auteurs: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Gepubliceerd 2026-01-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met oude, stoffige audio-opnames van een druk callcenter. De opnames zitten vol met echte mensen die praten, maar ze zijn rommelig: er is statische ruis, mensen praten door elkaar heen, er zijn automatische menu's en de gesprekken zijn ongestructureerd. Je wilt een superintelligente computer (een Large Language Model, of LLM) leren hoe hij klantvragen kan beantwoorden op basis van deze opnames, maar de computer kan niet leren van ruwe, rommelige audio. Het heeft een schoon, georganiseerd tekstboek van "Vragen" en "Antwoorden" nodig.

Het artikel "Call2Instruct" beschrijft een robotische fabriekslijn (een geautomatiseerde pijplijn) die is gebouwd om die rommelige audio om te zetten in een perfect tekstboek voor de computer.

Zo werkt deze fabriek, stap voor stap:

1. Het Station voor Geluidsschoonmaak (Audioverwerking)

Eerst gaat de ruwe audio naar een reinigingsstation.

Het Probleem: De opnames zijn als een lawaaierige kamer waar twee mensen praten, maar je kunt niet horen wie wie is, en er is veel achtergrondruis.
De Oplossing: Het systeem werkt als een geluidstechnicus. Het scheidt de stemmen (zodat het weet welke delen van de klant zijn en welke van de medewerker), verwijdert de statische ruis en knipt de saaie automatische menu's weg (zoals "Toets 1 voor verkoop").
Het Resultaat: Vervolgens gebruikt het een "super-luisteraar" (een spraak-naar-tekst tool) om de schone audio om te zetten in een ruwe concepttekst.

2. De Redactietafel (Tekstverwerking & Privacy)

Nu heeft het systeem een ruwe transcriptie, maar die is nog steeds rommelig. Er kunnen vreemde typefouten in staan, herhaalde woorden ("uhm, uhm, uhm") of gevoelige informatie zoals echte namen en rekeningnummers.

Het Probleem: Computers raken in de war van rommelige tekst, en het is illegaal om privégegevens van klanten te delen.
De Oplossing: Een geautomatiseerde redacteur stapt in. Het corrigeert de interpunctie, verwijdert de "uhms" en "ahhs", en fungeert als een privacybewaker. Het vervangt echte namen door plaatshouders zoals <NAAM> of <REKENING_ID>, zodat er geen geheimen worden gelekt.
Het Result Resultaat: Een schoon, veilig en gemakkelijk leesbaar verslag van het gesprek.

3. De Bibliothecaris met een Magische Kaart (Semantische Extractie)

Dit is het slimste deel van de fabriek. Het systeem moet uitzoeken: "Wat wilde de klant eigenlijk?" en "Hoe heeft de medewerker het opgelost?"

Het Probleem: In een echt gesprek kan een klant vijf minuten lang rondzwalken voordat hij een simpele vraag stelt, en het antwoord van de medewerker kan ergens halverwege het gesprek begraven liggen.
De Oplossing: Het systeem gebruikt een "magische kaart" (vector embeddings). Het vertaalt het rondzwalken van de klant naar een duidelijke, directe vraag (bijv. "Hoe reset ik mijn wachtwoord?"). Het doet hetzelfde voor het antwoord van de medewerker. Vervolgens zet het deze vragen en antwoorden om in wiskundige coördinaten op een kaart.
Het Resultaat: Nu kan het systeem de perfecte match vinden. Zelfs als de klant vroeg over "resetten" en de medewerker over "opnieuw opstarten" praatte, weet de magische kaart dat dit hetzelfde is en koppelt ze aan elkaar.

4. De Tekstboekschrijver (Datasetgeneratie)

Nu het systeem de juiste vragen aan de juiste antwoorden heeft gekoppeld, moet het ze formatteren zodat de computer ervan kan leren.

Het Probleem: De computer moet leren in een specifiek formaat: "Hier is een instructie, hier is het antwoord."
De Oplossing: Het systeem fungeert als een tekstboekschrijver. Het neemt de gekoppelde paren en schrijft ze in een perfect formaat. Het voegt bijvoorbeeld een kleine instructie toe zoals: "Wat is de oplossing op basis van het verzoek van de klant?" gevolgd door het antwoord van de medewerker.
Het Resultaat: Een gloednieuw, hoogwaardig dataset dat klaar is voor training.

5. Het Eindexamen (Validatie)

Om te controleren of de fabriek daadwerkelijk werkt, hebben de auteurs een test gebouwd.

De Test: Ze hebben de nieuwe dataset gebruikt om een computermodel (specifiek een model genaamd Llama 2 7B) te onderwijzen.
De Uitkomst: De computer leerde succesvol van de data. Wanneer ze het model gesimuleerde klantvragen stelden, gaf het antwoorden die logisch waren voor dat specifieke callcenter. Dit bewees dat de pijplijn werkt: het heeft erin geslaagd om rommelige audio om te zetten in een nuttig trainingsinstrument.

De Kernboodschap

Het artikel concludeert dat deze "Call2Instruct"-pijplijn een werkende oplossing is. Het neemt de chaotische, ongestructureerde realiteit van callcenter-opnames en automatiseert het hele proces van het omzetten ervan in een schone, private en gestructureerde dataset. Dit stelt bedrijven in staat om AI-assistenten te trainen die daadwerkelijk goed zijn in klantenservice, door gebruik te maken van hun eigen echte wereld-data zonder dat mensen handmatig duizenden vragen en antwoorden hoeven uit te typen.

De auteurs hebben de code voor deze fabriek ook openbaar beschikbaar gesteld, zodat anderen erop voort kunnen bouwen.

Technische Samenvatting van Call2Instruct

Probleemstelling
De adaptatie van Large Language Models (LLMs) naar specifieke domeinen, met name voor klantenservice, is sterk afhankelijk van hoogwaardige, instructie-geformatteerde (vraag-antwoord) fine-tuning datasets. Hoewel callcenters over enorme hoeveelheden waardevolle, real-world conversatiegegevens beschikken, bestaat deze informatie in ongestructureerde audioformaten. Het transformeren van deze ruisige, ongeorganiseerde opnames naar gestructureerde instructie-datasets vormt een aanzienlijke uitdaging. Bestaande benaderingen pakken vaak geïsoleerde stadia aan—zoals Automatic Speech Recognition (ASR), tekstnormalisatie of semantische extractie—onafhankelijk van elkaar, en missen een geïntegreerde, end-to-end geautomatiseerde pijplijn die in staat is om ruwe callcenter-audio direct om te zetten in LLM-klare Q&A-paren.

Methodologie: De Call2Instruct Pijplijn
Het artikel stelt "Call2Instruct" voor, een geautomatiseerde, vijf-staps pijplijn ontworpen om ruwe callcenter-audio te transformeren naar instructie-Q&A datasets. Het proces verloopt als volgt:

Audioverwerving en Preprocessing:
- Ruwe audio wordt opgehaald uit opslag (bijv. AWS buckets) en gestandaardiseerd.
- Kanaalscheiding & Denoising: Speaker diarization isoleert de spraak van de agent en de klant (hoewel de kanalen in de specifieke casestudy vooraf gescheiden waren). Een denoising-framework verzacht achtergrondruis.
- Segment Filtering: Een unsupervised benadering met behulp van K-Means clustering op akoestische kenmerken identificeert en verwijdert niet-menselijke segmenten, zoals Interactive Voice Response (IVR) of automatische assistent-berichten.
- Transcriptie: Gepreprocessede audio wordt omgezet naar tekst met behulp van ASR-systemen die gebruikmaken van OpenAI's Whisper Large model (geoptimaliseerd met LoRA en kwantisatie).
Textuele Preprocessing en Cleaning:
- Ruwe transcripties ondergaan normalisatie, inclusief punctuatie-restauratie en het corrigeren van ASR-artefacten (bijv. hallucinaties in stille segmenten).
- Anonimisering: Persoonlijk Identificeerbare Informatie (PII) wordt gedetecteerd en gemaskeerd met behulp van placeholder tokens (bijv. <NAME>, <ACCOUNT_ID>) om te voldoen aan regelgeving inzake gegevensbescherming zoals GDPR en LGPD.
Semantische Informatie-extractie en Vectorisatie:
- Demand Rewriting: Klantuitingen worden verwerkt via een LLM (ChatGPT) om ze te herschrijven tot objectieve, directe vragen, waarbij verbale markeringen en overbodigheid worden verwijderd.
- Vectorisatie: Zowel de herschreven klantverzoeken als de bijbehorende antwoorden van de agent worden omgezet in dense vector embeddings met behulp van het text-embedding-ada-002 model.
- Opslag: Deze vectoren, samen met metadata (speaker persona, origineel file ID), worden opgeslagen in een vector database (Elasticsearch) om semantische zoekopdrachten te faciliteren.
Question-Answer (Q&A) Dataset Generatie:
- Semantische Matching: Voor elk herschreven klantverzoek voert het systeem een semantische gelijkeniszoekopdracht uit tegen de volledige corpus van agent-antwoorden om de meest relevante antwoorden te extraheren, ongeacht de oorspronkelijke interactiecontext.
- Verfijning en Synthese: De top $N$ kandidaat-antwoorden (waarbij $N=3$ ) worden individueel verfijnd door een LLM om de helderheid en objectiviteit te verbeteren. Vervolgens worden deze verfijnde kandidaten door de LLM gesynthetiseerd tot één coherent en allesomvattend antwoord dat relevante informatie aggregeert terwijl ruis wordt weggefilterd.
- Formattering: De definitieve paren worden gestructureerd in een instructie-tuning formaat (bijv. "Op basis van de vraag van de klant, wat was de aanbevolen oplossing?").
Validatie:
- De pijplijn bevat automatische controles voor coherentie en privacy-lekken.
- Functionele Validatie: De gegenereerde dataset wordt gebruikt om Instruct Fine-Tuning uit te voeren op een pre-trained LLM (Llama 2 7B) met behulp van het Lamini platform om de bruikbaarheid van de data te verifiëren.

Belangrijkste Bijdragen

End-to-End Automatisering: Het artikel presenteert een volledige, geautomatiseerde workflow die de kloof overbrugt tussen ruwe, luidruchtige callcenter-audio en gestructureerde, instructie-klare datasets, waarmee een kritieke bottleneck in domein-specifieke LLM-training wordt aangepakt.
Semantische Aggregatie: In tegen tegenover de eenvoudige transcriptie-naar-Q&A methoden, maakt de pijplijn gebruik van semantische zoekopdrachten om verzoeken te kruisverwijzen met de volledige corpus van agent-antwoorden, gevolgd door LLM-gebaseerde synthese om hoogwaardige, uitgebreide antwoorden te creëren.
Privacy-bewerkende Verwerking: De integratie van robuuste anonimiseringsstappen zorgt ervoor dat gevoelige klantgegevens conform de regels worden behandeld voordat de modeltraining plaatsvindt.
Open Source: De auteurs hebben de ontwikkelde code publiekelijk beschikbaar gemaakt om reproduceerbaarheid en toekomstig onderzoek te bevorderen.

Resultaten
De pijplijn is succesvol geïmplementeerd en getest met meer dan 3.000 callcenter-opnames uit de telecommunicatiesector.

Dataset Generatie: Het systeem heeft de audio succesvol verwerkt, de tekst schoongemaakt en geanonimiseerd, en een gestructureerde Q&A dataset gegenereerd.
Functionele Validatie: Een fine-tuning experiment werd uitgevoerd op het Llama 2 7B model. Het resulterende model demonstreerde het vermogen om de callcenter-context te begrijpen en te reageren op gesimuleerde klantvragen zonder af te wijken van het domein.
Geobserveerde Beperkingen: Hoewel functioneel, toonde kwalitatieve analyse aan dat sommige modelreacties incidenteel te generiek waren of de specificiteit misten die vereist is voor genuanceerde vragen, wat wijst op ruimte voor verbetering in de diversiteit van de dataset en het syntheseproces.

Betekenis
Het artikel stelt dat de voorgestelde aanpak een levensvatbare oplossing is voor het omzetten van ongestructureerde conversatiegegevens in waardevolle bronnen voor het trainen van LLMs. Door de transformatie van ruwe callcenter-opnames naar instructie-datasets te automatiseren, biedt het werk een systematisch pad om operationele kennis te ontsluiten die doorgaans verspreid en onderbenut is. Deze ontwikkeling heeft het potentieel om de creatie van effectievere, contextbewuste AI-systemen voor klantenservice Q&A-taken te faciliteren. De auteurs benadrukken dat hoewel het huidige werk een veelbelovende basis legt, rigoureuze kwantitatieve evaluatie en verdere optimalisatie van pijplijncomponenten (zoals ASR-nauwkeurigheid en koppelingsalgoritmen) noodzakelijke toekomstige stappen zijn.