⚡ electrical engineering

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Cet article présente Call2Instruct, un pipeline automatisé de bout en bout qui transforme les enregistrements audio bruités de centres d'appels en ensembles de données d'instructions de type Q&R de haute qualité pour l'ajustement fin (fine-tuning) de LLM, grâce à un processus multi-étapes de traitement audio, de nettoyage de texte et de mise en correspondance sémantique, démontré avec succès par l'ajustement fin d'un modèle Llama 2 7B.

Auteurs originaux : Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Publié 2026-01-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque d'enregistrements audio anciens et poussiéreux provenant d'un centre d'appels très fréquenté. Ces enregistrements sont remplis de vraies personnes qui parlent, mais ils sont désordonnés : il y a du statique, des gens qui se coupent la parole, des menus automatisés, et les conversations ne sont pas structurées. Vous voulez apprendre à un ordinateur super intelligent (un grand modèle de langage, ou LLM) comment répondre aux questions des clients en se basant sur ces enregistrements, mais l'ordinateur ne peut pas apprendre à partir d'un audio brut et bruyant. Il lui faut un manuel scolaire propre et organisé de « Questions » et de « Réponses ».

Le document « Call2Instruct » décrit une ligne de production robotisée (un pipeline automatisé) construite pour prendre cet audio désordonné et le transformer en un manuel parfait pour l'ordinateur.

Voici comment fonctionne cette usine, étape par étape :

1. La station de nettoyage sonore (Traitement audio)

D'abord, l'audio brut entre dans une station de nettoyage.

Le Problème : Les enregistrements sont comme une pièce bruyante où deux personnes parlent, mais on ne peut pas distinguer qui est qui, et il y a beaucoup de bruit de fond statique.
La Solution : Le système agit comme un ingénieur du son. Il sépare les voix (pour savoir quelles parties appartiennent au client et lesquelles appartiennent à l'agent), supprime le bruit statique et coupe les menus automatisés ennuyeux (comme « Appuyez sur 1 pour les ventes »).
Le Résultat : Il utilise ensuite un « super-auditeur » (un outil de reconnaissance vocale) pour transformer l'audio nettoyé en un brouillon de texte.

2. Le bureau de l'éditeur (Nettoyage de texte et confidentialité)

Maintenant, le système possède une transcription brute, mais elle est encore désordonnée. Elle peut contenir des fautes de frappe bizarres, des mots répétés (« euh, euh, euh »), ou des informations sensibles comme de vrais noms et numéros de compte.

Le Problème : Les ordinateurs sont confus par un texte désordonné, et il est illégal de partager des données privées de clients.
La Solution : Un éditeur automatisé intervient. Il corrige la ponctuation, supprime les « euh » et les « ah », et agit comme un garde du corps de la vie privée. Il remplace les vrais noms par des espaces réservés comme <NOM> ou <ID_COMPTE>, garantissant qu'aucun secret ne soit divulgué.
Le Résultat : Une histoire propre, sûre et facile à lire de la conversation.

3. Le bibliothécaire avec une carte magique (Extraction sémantique)

C'est la partie la plus intelligente de l'usine. Le système doit comprendre : « Qu'est-ce que le client voulait réellement ? » et « Comment l'agent a-t-il résolu le problème ? ».

Le Problème : Dans une conversation réelle, un client peut divaguer pendant cinq minutes avant de poser une question simple, et la réponse de l'agent peut être enfouie au milieu de la discussion.
La Solution : Le système utilise une « carte magique » (plongements de vecteurs ou embeddings). Il traduit le bavardage du client en une question claire et directe (ex : « Comment puis-je réinitialiser mon mot de passe ? »). Il fait la même chose pour la réponse de l'agent. Il transforme ensuite ces questions et réponses en coordonnées mathématiques sur une carte.
Le Résultat : Désormais, le système peut trouver la correspondance parfaite. Même si le client a parlé de « réinitialisation » et que l'agent a parlé de « redémarrage », la carte magique sait qu'ils sont identiques et les associe.

4. L'auteur de manuels scolaires (Génération de jeu de données)

Maintenant que le système a associé les bonnes questions aux bonnes réponses, il doit les formater pour que l'ordinateur puisse apprendre.

Le Problème : L'ordinateur doit apprendre selon un format spécifique : « Voici une instruction, voici la réponse ».
La Solution : Le système agit comme un auteur de manuel scolaire. Il prend les paires associées et les écrit dans un format parfait. Il peut ajouter une petite instruction comme : « Sur la base de la demande du client, quelle est la solution ? », suivie de la réponse de l'agent.
Le Résultat : Un tout nouveau jeu de données de haute qualité, prêt pour l'entraînement.

5. L'examen final (Validation)

Pour s'assurer que l'usine fonctionne réellement, les auteurs ont construit un test.

Le Test : Ils ont pris ce nouveau jeu de données et l'ont utilisé pour enseigner à un modèle informatique (plus précisément, un modèle appelé Llama 2 7B).
Le Résultat : L'ordinateur a réussi à apprendre de ces données. Lorsqu'on lui a posé des questions de clients simulées, il a donné des réponses qui faisaient sens pour ce centre d'appels spécifique. Cela a prouvé que le pipeline fonctionne : il a réussi à transformer un audio désordonné en un outil d'entraînement utile.

L'essentiel

La conclusion du papier est que ce pipeline « Call2Instruct » est une solution fonctionnelle. Il prend la réalité chaotique et non structurée des enregistrements de centres d'appels et automatise l'ensemble du processus pour les transformer en un jeu de données propre, privé et structuré. Cela permet aux entreprises d'entraîner des assistants IA qui sont réellement performants pour gérer le service client, en utilisant leurs propres données réelles sans avoir besoin de saisir manuellement des milliers de questions et de réponses.

Les auteurs ont également rendu le code de cette usine accessible au public afin que d'autres puissent s'en servir pour construire de nouvelles choses.

Résumé technique de Call2Instruct

Énoncé du problème
L'adaptation des grands modèles de langage (LLM) à des domaines spécifiques, particulièrement pour le service client, repose fortement sur des jeux de données d'ajustement fin (fine-tuning) de haute qualité sous format d'instruction (Question-Réponse). Bien que les centres d'appels possèdent de vastes quantités de données conversationnelles réelles et précieuses, ces informations existent sous des formats audio non structurés. Transformer ces enregistrements bruités et désorganisés en jeux de données instructionnels structurés présente un défi significatif. Les approches existantes traitent souvent des étapes isolées — telles que la reconnaissance automatique de la parole (ASR), la normalisation textuelle ou l'extraction sémantique — de manière indépendante, manquant ainsi d'un pipeline automatisé intégré de bout en bout capable de convertir directement l'audio brut des centres d'appels en paires Q&R prêtes pour les LLM.

Méthodologie : Le pipeline Call2Instruct
L'article propose « Call2Instruct », un pipeline automatisé en cinq étapes conçu pour transformer l'audio brut des centres d'appels en jeux de données de questions-réponses (Q&R) instructionnels. Le processus suit le flux suivant :

Acquisition et prétraitement de l'audio :
- L'audio brut est récupéré depuis un stockage (ex: compartiments AWS) et standardisé.
- Séparation des canaux et débruitage : La diarisation des locuteurs isole la parole de l'agent et du client (bien que dans le cas d'étude spécifique, les canaux aient été pré-séparés). Un cadre de débruitage atténue le bruit de fond.
- Filtrage des segments : Une approche non supervisée utilisant le clustering K-Means sur les caractéristiques acoustiques identifie et supprime les segments non humains, tels que les réponses vocales interactives (IVR) ou les messages de l'attendant automatisé.
- Transcription : L'audio prétraité est converti en texte via des systèmes ASR exploitant le modèle Whisper Large d'OpenAI (optimisé avec LoRA et la quantification).
Prétraitement et nettoyage textuel :
- Les transcriptions brutes subissent une normalisation, incluant la restauration de la ponctuation et la correction des artefacts de l'ASR (ex: hallucinations dans les segments silencieux).
- Anonymisation : Les informations personnellement identifiables (PII) sont détectées et masquées à l'aide de jetons de substitution (ex: <NOM>, <ID_COMPTE>) pour garantir la conformité avec les réglementations sur la protection des données comme le RGPD et la LGPD.
Extraction d'informations sémantiques et vectorisation :
- Réécriture de la demande : Les énoncés des clients sont traités via un LLM (ChatGPT) pour les réécrire en questions objectives et directes, en supprimant les marqueurs oraux et la prolixité.
- Vectorisation : Les demandes réécrites des clients ainsi que les réponses correspondantes des agents sont converties en vecteurs de plongement (embeddings) denses à l'aide du modèle text-embedding-ada-002.
- Stockage : Ces vecteurs, accompagnés de métadonnées (persona du locuteur, ID du fichier original), sont stockés dans une base de données vectorielle (Elasticsearch) pour faciliter la recherche sémantique.
Génération du jeu de données Question-Réponse (Q&R) :
- Correspondance sémantique : Pour chaque demande client réécrite, le système effectue une recherche de similitude sémantique dans l'ensemble du corpus de réponses des agents afin de récupérer les réponses les plus pertinentes, indépendamment du contexte de l'interaction originale.
- Raffinement et synthèse : Les $N$ meilleures réponses candidates (où $N=3$ ) sont individuellement raffinées par un LLM pour améliorer la clarté et l'objectivité. Par la suite, ces candidats raffinés sont synthétisés par le LLM en une réponse unique, cohérente et complète qui agrège les informations pertinentes tout en écartant le bruit.
- Formatage : Les paires finales sont structurées dans un format d'ajustement d'instruction (ex: « Sur la base de la requête du client, quelle était la solution recommandée ? »).
Validation :
- Le pipeline inclut des vérifications automatiques de cohérence et de fuite de confidentialité.
- Validation fonctionnelle : Le jeu de données généré est utilisé pour effectuer un ajustement fin instructif (Instruct Fine-Tuning) sur un LLM pré-entraîné (Llama 2 7B) en utilisant la plateforme Lamini pour vérifier son utilité.

Contributions clés

Automatisation de bout en bout : L'article présente un flux de travail complet et automatisé qui comble le fossé entre l'audio bruité des centres d'appels et les jeux de données structurés prêts pour l'instruction, répondant ainsi à un goulot d'étranglement critique pour l'entraînement des LLM spécifiques à un domaine.
Agrégation sémantique : Contrairement aux méthodes simples de transcription-vers-Q&R, le pipeline utilise la recherche sémantique pour croiser les demandes avec l'ensemble du corpus de réponses des agents, suivi d'une synthèse basée sur le LLM pour créer des réponses de haute qualité et complètes.
Traitement respectueux de la vie privée : L'intégration d'étapes d'anonymisation robustes garantit que les données sensibles des clients sont traitées de manière conforme avant l'entraînement du modèle.
Open Source : Les auteurs ont rendu le code développé public afin de promouvoir la reproductibilité et la recherche future.

Résultats
Le pipeline a été implémenté et testé avec succès en utilisant plus de 3 000 enregistrements de centres d'appels du secteur des télécommunications.

Génération de jeu de données : Le système a traité avec succès l'audio, nettoyé et anonymisé le texte, et généré un jeu de données Q&R structuré.
Validation fonctionnelle : Une expérience d'ajustement fin a été menée sur le modèle Llama 2 7B. Le modèle résultant a démontré sa capacité à comprendre le contexte du centre d'appels et à répondre à des requêtes de clients simulés sans dévier du domaine.
Limites observées : Bien que fonctionnel, l'analyse qualitative a révélé que certaines réponses du modèle étaient parfois trop génériques ou manquaient de la spécificité requise pour des requêtes nuancées, suggérant une marge d'amélioration pour la diversité des données et le processus de synthèse.

Signification
L'article affirme que l'approche proposée est une solution viable pour convertir les données conversationnelles non structurées en ressources précieuses pour l'entraînement des LLM. En automatisant la transformation des enregistrements bruts des centres d'appels en jeux de données d'instruction, ce travail offre une voie systématique pour débloquer la connaissance opérationnelle qui est typiquement dispersée et sous-utilisée. Ce développement a le potentiel de faciliter la création de systèmes d'IA plus efficaces et sensibles au contexte pour les tâches de Q&R du service client. Les auteurs soulignent que, bien que ce travail actuel établisse une base prometteuse, une évaluation quantitative rigoureuse et une optimisation supplémentaire des composants du pipeline (tels que la précision de l'ASR et les algorithmes d'appariement) sont des étapes futures nécessaires.