⚡ electrical engineering

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Dieses Paper stellt Call2Instruct vor, eine automatisierte End-to-End-Pipeline, die verrauschte Call-Center-Audioaufnahmen durch einen mehrstufigen Prozess aus Audioverarbeitung, Textbereinigung und semantischer Übereinstimmung in hochwertige Q&A-Instruktionsdatensätze für das Fine-Tuning von LLMs transformiert, was erfolgreich durch das Fine-Tuning eines Llama 2 7B Modells demonstriert wurde.

Ursprüngliche Autoren: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Veröffentlicht 2026-01-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit alten, staubigen Audioaufnahmen aus einem geschäftigen Callcenter. Diese Aufnahmen sind voller echter Menschen, die sprechen, aber sie sind chaotisch: Es gibt statisches Rauschen, Menschen, die sich gegenseitig ins Wort fallen, automatisierte Menüs und die Gespräche sind unstrukturiert. Sie möchten einem superintelligenten Computer (einem Large Language Model oder LLM) beibringen, wie man Kundenfragen basierend auf diesen Aufnahmen beantwortet, aber der Computer kann nicht aus rohem, verrauschtem Audio lernen. Er benötigt ein sauberes, organisiertes Lehrbuch aus „Fragen“ und „Antworten“.

Das Paper „Call2Instruct“ beschreibt eine robotergestützte Fabrikstraße (eine automatisierte Pipeline), die gebaut wurde, um dieses chaotische Audio in ein perfektes Lehrbuch für den Computer zu verwandeln.

So funktioniert diese Fabrik, Schritt für Schritt:

1. Die Reinigungsstation für Klänge (Audioverarbeitung)

Zuerst geht das rohe Audio in eine Reinigungsstation.

Das Problem: Die Aufnahmen sind wie ein verrauschter Raum, in dem zwei Personen sprechen, aber man kann nicht erkennen, wer wer ist, und es gibt viel Hintergrundrauschen.
Die Lösung: Das System agiert wie ein Toningenieur. Es trennt die Stimmen (sodass es weiß, welche Teile zum Kunden und welche zum Agenten gehören), entfernt das statische Rauschen und schneidet die langweiligen automatisierten Menüs heraus (wie „Drücken Sie die 1 für den Verkauf“).
Das Ergebnis: Es verwendet dann einen „Super-Zuhörer“ (ein Speech-to-Text-Tool), um das saubere Audio in einen groben Textentwurf umzuwandeln.

2. Der Editor-Schreibtisch (Textbereinigung & Datenschutz)

Nun hat das System ein grobes Transkript, aber es ist immer noch unordentlich. Es könnten seltsame Tippfehler, wiederholte Wörter („äh, äh, äh“) oder sensible Informationen wie echte Namen und Kontonummern enthalten sein.

Das Problem: Computer werden durch unordentlichen Text verwirrt, und es ist illegal, private Kundendaten weiterzuge de.
Die Lösung: Ein automatisierter Editor tritt ein. Er korrigiert die Interpunktion, entfernt die „Ähms“ und „Ahs“ und fungiert als Datenschutzwächter. Er ersetzt echte Namen durch Platzhalter wie <NAME> oder <ACCOUNT_ID>, um sicherzustellen, dass keine Geheimnisse durchsickern.
Das Ergebnis: Eine saubere, sichere und leicht lesbare Geschichte des Gesprächs.

3. Der Bibliothekar mit der magischen Landkarte (Semantische Extraktion)

Dies ist der klügste Teil der Fabrik. Das System muss herausfinden: „Was wollte der Kunde eigentlich?“ und „Wie hat der Agent das Problem gelöst?“

Das Problem: In einem echten Gespräch führt ein Kunde vielleicht fünf Minuten lang einen langen Monolog, bevor er eine einfache Frage stellt, und die Antwort des Agenten könnte mitten im Chat vergraben sein.
Die Lösung: Das System nutzt eine „magische Landkarte“ (Vektor-Embeddings). Es übersetzt das Abschweifen des Kunden in eine klare, direkte Frage (z. B. „Wie setze ich mein Passwort zurück?“). Es tut dasselbe für die Antwort des Agenten. Dann wandelt es diese Fragen und Antworten in mathematische Koordinaten auf einer Landkarte um.
Das Ergebnis: Nun kann das System die perfekte Übereinstimmung finden. Selbst wenn der Kunde nach dem „Zurücksetzen“ gefragt hat und der Agent über das „Neu-Starten“ sprach, weiß die magische Landkarte, dass dies dasselbe ist, und führt sie zusammen.

4. Der Lehrbuch-Autor (Datensatzgenerierung)

Jetzt, da das System die richtigen Fragen den richtigen Antworten zugeordnet hat, muss es sie für den Computer formatieren, damit dieser lernen kann.

Das Problem: Der Computer muss in einem bestimmten Format lernen: „Hier ist eine Anweisung, hier ist die Antwort.“
Die Lösung: Das System agiert wie ein Lehrbuchautor. Es nimmt die gematchten Paare und schreibt sie in ein perfektes Format. Es fügt vielleicht eine kleine Anweisung hinzu wie: „Basierend auf der Anfrage des Kunden, was ist die Lösung?“ gefolgt von der Antwort des Agenten.
Das Ergebnis: Ein brandneuer, hochwertiger Datensatz, der bereit für das Training ist.

5. Die Abschlussprüfung (Validierung)

Um sicherzustellen, dass die Fabrik tatsächlich funktioniert, haben die Autoren einen Test gebaut.

Der Test: Sie nahmen diesen neuen Datensatz und nutzten ihn, um ein Computermodell (speziell ein Modell namens Llama 2 7B) zu unterrichten.
Das Ergebnis: Der Computer lernte erfolgreich aus den Daten. Als sie ihm simulierte Kundenfragen stellten, gab er Antworten, die im Kontext dieses spezifischen Callcenters Sinn ergaben. Dies bewies, dass die Pipeline funktioniert: Sie hat erfolgreich unstrukturiertes Audio in ein nützliches Trainingswerkzeug verwandnt.

Das Fazit

Das Paper kommt zu dem Schluss, dass diese „Call2Instruct“-Pipeline eine funktionierende Lösung ist. Sie nimmt die chaotische, unstrukturierte Realität von Callcenter-Aufnahmen und automatisiert den gesamten Prozess, sie in einen sauberen, privaten und strukturierten Datensatz zu verwandeln. Dies ermöglicht es Unternehmen, KI-Assistenten zu trainieren, die tatsächlich gut im Kundenservice sind, indem sie ihre eigenen realen Daten nutzen, ohne dass Menschen tausende von Fragen und Antworten manuell abtippen müssen.

Die Autoren haben den Code für diese Fabrik auch der Öffentlichkeit zur Verfügung gestellt, damit andere darauf aufbauen können.

Technisches Resümee von Call2Instruct

Problemstellung
Die Anpassung von Large Language Models (LLMs) an spezifische Domänen, insbesondere für den Kundenservice, hängt maßgeblich von hochwertigen Datensätzen im Instruktionsformat (Frage-Antwort) ab. Während Callcenter über riesige Mengen wertvoller, realer Konversationsdaten verfügen, liegen diese Informationen in unstrukturierten Audioformaten vor. Die Transformation dieser verrauschten, ungeordneten Aufzeichnungen in strukturierte Instruktionsdatensätze stellt eine erhebliche Herausforderung dar. Bestehende Ansätze adressieren oft isolierte Phasen – wie etwa die automatische Spracherkennung (ASR), die Textnormalisierung oder die semantische Extraktion – unabhängig voneinander und lassen eine integrierte, End-to-End-automatisierte Pipeline vermissen, die in der Lage ist, rohe Callcenter-Audiodaten direkt in LLM-bereite Q&A-Paare umzuwandeln.

Methodik: Die Call2Instruct-Pipeline
Das Paper schlägt „Call2Instruct“ vor, eine automatisierte, fünfstufige Pipeline, die darauf ausgelegt ist, rohe Callcenter-Audiodaten in instruktive Q&A-Datensätze zu transformieren. Der Prozess fließt wie folgt:

Audio-Akquisition und Vorverarbeitung:
- Das Rohaudio wird aus Speichern (z. B. AWS-Buckets) abgerufen und standardisiert.
- Kanaltrennung & Rauschunterdrückung: Die Sprecher-Diarisierung isoliert Agenten- und Kundenrede (obwohl in der spezifischen Fallstudie die Kanäle vorab getrennt waren). Ein Framework zur Rauschunterdrückung mildert Hintergrundgeräusche ab.
- Segmentfilterung: Ein unüberwachter Ansatz mittels K-Means-Clustering auf akustischen Merkmalen identifiziert und entfernt nicht-menschliche Segmente, wie etwa Interactive Voice Response (IVR) oder automatisierte Ansagemeldungen.
- Transkription: Das vorverarbeitete Audio wird mittels ASR-Systemen in Text umgewandelt, die das OpenAI Whisper Large Modell nutzen (optimiert durch LoRA und Quantisierung).
Textuelle Vorverarbeitung und Bereinigung:
- Rohe Transkripte durchlaufen eine Normalisierung, einschließlich der Wiederherstellung der Interpunktion und der Korrektur von ASR-Artefakten (z. B. Halluzinationen in Stille-Segmenten).
- Anonymisierung: Personenbezogene Daten (PII) werden erkannt und durch Platzhalter-Token (z. B. <NAME>, <ACCOUNT_ID>) maskiert, um die Einhaltung von Datenschutzvorschriften wie DSGVO und LGPD zu gewährleisten.
Semantische Informationsextraktion und Vektorisierung:
- Demand Rewriting (Umformulierung der Anforderungen): Kundenäußerungen werden mittels eines LLMs (ChatGPT) verarbeitet, um sie in objektive, direkte Fragen umzuformulieren, wobei orale Marker und Prolixität entfernt werden.
- Vektorisierung: Sowohl die umformulierten Kundenanforderungen als auch die entsprechenden Antworten der Agenten werden unter Verwendung des text-embedding-ada-002 Modells in dichte Vektor-Embeddings umgewandelt.
- Speicherung: Diese Vektoren werden zusammen mit Metadaten (Sprecher-Persona, ursprüngliche Datei-ID) in einer Vektordatenbank (Elasticsearch) gespeichert, um die semantische Suche zu erleichtern.
Erstellung des Frage-Antwort-Datensatzes (Q&A):
- Semantische Übereinstimmung: Für jede umformulierte Kundenanforderung führt das System eine semantische Ähnlichkeitssuche gegen den gesamten Korpus der Agentenantworten durch, um die relevantesten Antworten zu finden, unabhängig vom ursprünglichen Interaktionskontext.
- Verfeinerung und Synthese: Die obersten $N$ Kandidaten-Antworten (wobei $N=3$ ) werden durch ein LLM einzeln verfeinert, um Klarheit und Objektivität zu verbessern. Anschließend werden diese verfeinerten Kandidaten durch das LLM zu einer einzigen, kohärenten und umfassenden Antwort synthetisiert, die relevante Informationen aggregiert und gleichzeitig Rauschen verwirft.
- Formatierung: Die finalen Paare werden in ein Instruction-Tuning-Format strukturiert (z. B. „Basierend auf der Anfrage des Kunden, was war die empfohlene Lösung?“).
Validierung:
- Die Pipeline enthält automatische Prüfungen auf Kohärenz und Datenschutzverletzungen.
- Funktionale Validierung: Der generierte Datensatz wird verwendet, um ein Instruct Fine-Tuning an einem vortrainierten LLM (Llama 2 7B) unter Nutzung der Lamini-Plattform durchzuführen, um den Nutzen der Daten zu verifizieren.

Wesentliche Beiträge

End-to-End-Automatisierung: Das Paper präsentiert einen vollständigen, automatisierten Workflow, der die Lücke zwischen rohen, verrauschten Callcenter-Audiodaten und strukturierten, instruktionsbereiten Datensätzen schließt und damit einen kritischen Engpass in der domänenspezifischen LLM-Trainierung adressiert.
Semantische Aggregation: Im Gegensatz zu einfachen Transkription-zu-Q&A-Methoden nutzt die Pipeline die semantische Suche, um Anforderungen mit dem gesamten Korpus der Agentenantworten abzugleichen, gefolgt von einer LLM-basierten Synthese, um hochwertige, umfassende Antworten zu erstellen.
Datenschutzkonforme Verarbeitung: Die Integration robuster Anonymisierungsschritte stellt sicher, dass sensible Kundendaten konform vor dem Modelltraining behandelt werden.
Open Source: Die Autoren haben den entwickelten Code öffentlich zugänglich gemacht, um die Reproduzierbarkeit und zukünftige Forschung zu fördern.

Ergebnisse
Die Pipeline wurde erfolgreich implementiert und unter Verwendung von über 3.000 Callcenter-Aufnahmen aus dem Telekommunikationssektor getestet.

Datensatzgenerierung: Das System verarbeitete erfolgreich das Audio, bereinigte und anonymisierte den Text und generierte einen strukturierten Q&A-Datensatz.
Funktionale Validierung: Es wurde ein Fine-Tuning-Experiment am Llama 2 7B Modell durchgeführt. Das resultierende Modell demonstrierte die Fähigkeit, den Callcenter-Kontext zu verstehen und auf simulierte Kundenanfragen zu antworten, ohne von der Domäne abzuweichen.
Beobachtete Limitationen: Obwohl funktional, ergab die qualitative Analyse, dass einige Modellantworten gelegentlich zu generisch waren oder es an der Spezifität mangelte, die für nuancierte Anfragen erforderlich ist, was auf Verbesserungspotenzial bei der Datensatzdiversität und dem Syntheseprozess hindeutet.

Bedeutung
Das Paper behauptet, dass der vorgeschlagene Ansatz eine praktikable Lösung darstellt, um unstrukturierte Konversationsdaten in wertvolle Ressourcen für das Training von LLMs umzuwandeln. Durch die Automatisierung der Transformation von rohen Callcenter-Aufzeichnungen in instruktive Datensätze bietet die Arbeit einen systematischen Weg, um operatives Wissen freizusetzen, das typischerweise verstreut und untergenutzt ist. Diese Entwicklung hat das Potenzial, die Schaffung effektiverer, kontextbewusster KI-Systeme für Customer-Service-Q&A-Aufgaben zu erleichtern. Die Autoren betonen, dass die aktuelle Arbeit zwar eine vielversprechende Grundlage schafft, eine rigorose quantitative Evaluierung und eine weitere Optimierung der Pipeline-Komponenten (wie ASR-Genauigkeit und Pairing-Algorithmen) jedoch notwendige zukünftige Schritte sind.