⚡ electrical engineering

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Este artículo presenta Call2Instruct, un proceso automatizado de extremo a extremo que transforma grabaciones de audio ruidosas de centros de llamadas en conjuntos de datos instructivos de preguntas y respuestas de alta calidad para el ajuste fino de LLM mediante un proceso de varias etapas de procesamiento de audio, limpieza de texto y coincidencia semántica, demostrado con éxito mediante el ajuste fino de un modelo Llama 2 7B.

Autores originales: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Publicado 2026-01-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva de grabaciones de audio antiguas y polvorientas de un centro de llamadas con mucho movimiento. Estas grabaciones están llenas de personas reales hablando, pero son desordenadas: hay estática, personas hablando al mismo tiempo, menús automatizados y las conversaciones carecen de estructura. Quieres enseñarle a una computadora superinteligente (un Modelo de Lenguaje Extenso, o LLM) cómo responder a las preguntas de los clientes basándose en estas grabaciones, pero la computadora no puede aprender de un audio bruto y ruidoso. Necesita un libro de texto limpio y organizado de "Preguntas" y "Respuestas".

El artículo "Call2Instruct" describe una línea de producción robótica (un flujo de trabajo automatizado) construida para tomar ese audio desordenado y convertirlo en un libro de texto perfecto para la computadora.

Así es como funciona esta fábrica, paso a paso:

1. La Estación de Limpieza de Sonido (Procesamiento de Audio)

Primero, el audio bruto entra en una estación de limpieza.

El Problema: Las grabaciones son como una habitación ruidosa donde dos personas están hablando, pero no puedes distinguir quién es quién, y hay mucha estática de fondo.
La Solución: El sistema actúa como un ingeniero de sonido. Separa las voces (para saber qué partes pertenecen al cliente y cuáles al agente), elimina el ruido estático y recorta los menús automatizados aburridos (como "Presione 1 para ventas").
El Resultado: Luego utiliza un "superoyente" (una herramienta de voz a texto) para convertir el audio limpio en un borrador de texto.

2. El Escritorio del Editor (Limpieza de Texto y Privacidad)

Ahora el sistema tiene una transcripción aproximada, pero sigue siendo desordenada. Puede tener errores tipográficos extraños, palabras repetidas ("um, um, um") o información sensible como nombres reales y números de cuenta.

El Probleo: Las computadoras se confunden con el texto desordenado, y es ilegal compartir datos privados de los clientes.
La Solución: Un editor automatizado interviene. Corrige la puntuación, elimina los "umms" y "ahhs", y actúa como un guardián de la privacidad. Sustituye los nombres reales por marcadores de posición como <NOMBRE> o <ID_DE_CUENTA>, asegurando que nadie filtre sus secretos.
El Resultado: Una historia limpia, segura y fácil de leer de la conversación.

3. El Bibliotecario con un Mapa Mágico (Extracción Semántica)

Esta es la parte más inteligente de la fábrica. El sistema necesita determinar: "¿Qué quería realmente el cliente?" y "¿Cómo lo solucionó el agente?".

El Problema: En una conversación real, un cliente puede divagar durante cinco minutos antes de hacer una pregunta sencilla, y la respuesta del agente puede quedar enterrada en medio de la charla.
La Solución: El sistema utiliza un "mapa mágico" (embeddings vectoriales). Traduce el divague del cliente en una pregunta clara y directa (por ejemplo, "¿Cómo restablezco mi contraseña?"). Hace lo mismo con la respuesta del agente. Luego, convierte estas preguntas y respuestas en coordenadas matemáticas en un mapa.
El Resultado: Ahora, el sistema puede encontrar la combinación perfecta. Incluso si el cliente preguntó sobre "restablecer" y el agente habló de "reiniciar", el mapa mágico sabe que son lo mismo y los empareja.

4. El Escritor de Libros de Texto (Generación de Datasets)

Ahora que el sistema ha emparejado las preguntas correctas con las respuestas adecuadas, debe darles formato para que la computadora aprenda.

El Problema: La computadora necesita aprender en un formato específico: "Aquí hay una instrucción, aquí está la respuesta".
La Solución: El sistema actúa como un autor de libros de texto. Toma los pares emparejados y los escribe en un formato perfecto. Puede añadir una pequeña instrucción como: "Basándose en la solicitud del cliente, ¿cuál es la solución?" seguida de la respuesta del agente.
El Resultado: Un conjunto de datos nuevo, de alta calidad y listo para el entrenamiento.

5. El Examen Final (Validación)

Para asegurarse de que la fábrica realmente funciona, los autores construyeron una prueba.

La Prueba: Tomaron este nuevo conjunto de datos y lo usaron para enseñar a un modelo de computadora (específicamente, un modelo llamado Llama 2 7B).
El Resultado: La computadora aprendió con éxito de los datos. Cuando se le hicieron preguntas simuladas de clientes, dio respuestas que tenían sentido para ese centro de llamadas específico. Esto demostró que el flujo de trabajo funciona: transformó con éxito el audio desordenado en una herramienta de entrenamiento útil.

La Conclusión

El artículo concluye que este flujo de trabajo "Call2Instruct" es una solución funcional. Toma la realidad caótica y desestructurada de las grabaciones de los centros de llamadas y automatiza todo el proceso de convertirlas en un conjunto de datos limpio, privado y estructurado. Esto permite a las empresas entrenar asistentes de IA que sean realmente buenos manejando el servicio al cliente, utilizando sus propios datos del mundo real sin necesidad de que los humanos escriban manualmente miles de preguntas y respuestas.

Los autores también han puesto el código de esta fábrica a disposición del público para que otros puedan construir sobre él.

Resumen Técnico de Call2Instruct

Planteamiento del Problema
La adaptación de los Modelos de Lenguaje de Gran Escala (LLMs) a dominios específicos, particularmente para el servicio al cliente, depende en gran medida de conjuntos de datos de ajuste fino (fine-tuning) de alta calidad en formato de instrucción (Pregunta-Respuesta). Si bien los centros de llamadas poseen vastas cantidades de valiosos datos conversacionales del mundo real, esta información existe en formatos de audio no estructurados. Transformar estas grabaciones ruidosas y desorganizadas en conjuntos de datos instructivos estructurados presenta un desafío significativo. Los enfoques existentes suelen abordar etapas aisladas —como el Reconocimiento Automático del Habla (ASR), la normalización de texto o la extracción semántica— de forma independiente, careciendo de un flujo de trabajo integrado y automatizado capaz de convertir directamente el audio bruto de un centro de llamadas en pares de Pregunta-Respuesta listos para un LLM.

Metodología: El Pipeline Call2Instruct
El artículo propone "Call2Instruct", un pipeline automatizado de cinco etapas diseñado para transformar el audio bruto de un centro de llamadas en conjuntos de datos de preguntas y respuestas instructivas. El proceso fluye de la siguiente manera:

Adquisición y Preprocesamiento de Audio:
- El audio bruto se recupera de los almacenamientos (por ejemplo, buckets de AWS) y se estandariza.
- Separación de Canales y Reducción de Ruido: La diarización de locutores aisla la voz del agente y del cliente (aunque en el caso de estudio específico, los canales estaban pre-separados). Un marco de reducción de ruido mitiga el ruido de fondo.
- Filtrado de Segmentos: Un enfoque no supervisado mediante el uso de K-Means clustering sobre características acústicas identifica y elimina segmentos no humanos, tales como la Respuesta de Voz Interactiva (IVR) o mensajes de asistentes automatizados.
- Transcripción: El audio preprocesado se convierte a texto utilizando sistemas de ASR que aprovechan el modelo OpenAI Whisper Large (optimizado con LoRA y cuantización).
Preprocesamiento y Limpieza de Texto:
- Las transcripciones brutas se someten a una normalización, incluyendo la restauración de puntuación y la corrección de artefactos de ASR (por ejemplo, alucinaciones en segmentos silenciosos).
- Anonimización: La Información de Identificación Personal (PII) es detectada y enmascarada utilizando tokens de marcador de posición (por ejemplo, <NAME>, <ACCOUNT_ID>) para garantizar el cumplimiento de las regulaciones de protección de datos como GDPR y LGPD.
Extracción de Información Semántica y Vectorización:
- Reescritura de Demandas: Las expresiones de los clientes son procesadas mediante un LLM (ChatGPT) para reescribirlas en preguntas objetivas y directas, eliminando marcadores orales y prolixidad.
- Vectorización: Tanto las demandas reescritas de los clientes como las respuestas correspondientes de los agentes se convierten en vectores densos utilizando el modelo text-embedding-ada-002.
- Almacenamiento: Estos vectores, junto con los metadatos (persona del locutor, ID del archivo original), se almacenan en una base de datos vectorial (Elasticsearch) para facilitar la búsqueda semántica.
Generación de Conjunto de Datos de Preguntas y Respuestas (Q&A):
- Emparejamiento Semántico: Para cada demanda de cliente reescrita, el sistema realiza una búsqueda de similitud semántica contra todo el corpus de respuestas de los agentes para recuperar las respuestas más relevantes, independientemente del contexto de la interacción original.
- Refinamiento y Síntesis: Los $N$ candidatos superiores (donde $N=3$ ) son refinados individualmente por un LLM para mejorar la claridad y la objetividad. Posteriormente, estos candidatos refinados son sintetizados por el LLM en una única respuesta coherente y exhaustiva que agrega la información relevante mientras descarta el ruido.
- Formateo: Los pares finales se estructuran en un formato de ajuste de instrucción (por ejemplo, "Basado en la consulta del cliente, ¿cuál fue la solución recomendada?").
Validación:
- El pipeline incluye verificaciones automáticas de coherencia y filtración de privacidad.
- Validación Funcional: El conjunto de datos generado se utiliza para realizar el Ajuste Fino de Instrucción (Instruct Fine-Tuning) en un LLM pre-entrenado (Llama 2 7B) utilizando la plataforma Lamini para verificar la utilidad de los datos.

Contribuciones Clave

Automatización de Extremo a Extremo: El artículo presenta un flujo de trabajo completo y automatizado que cierra la brecha entre el audio ruidoso y bruto de un centro de llamadas y los conjuntos de datos estructurados listos para instrucción, abordando un cuello de botella crítico en el entrenamiento de LLMs de dominio específico.
Agregación Semántica: A diferencia de los métodos simples de transcripción-a-Q&A, el pipeline utiliza la búsqueda semántica para realizar una referencia cruzada de las demandas con todo el corpus de respuestas de los agentes, seguido de una síntesis basada en LLM para crear respuestas de alta calidad y exhaustivas.
Procesamiento que Preserva la Privacidad: La integración de pasos robustos de anonimización asegura que los datos sensibles de los clientes se manejen de manera conforme a las normativas antes del entrenamiento del modelo.
Código Abierto: Los autores han puesto el código desarrollado a disposición pública para promover la reproducibilidad y la investigación futura.

Resultados
El pipeline fue implementado y probado con éxito utilizando más de 3,000 grabaciones de centros de llamadas del sector de telecomunicaciones.

Generación de Conjunto de Datos: El sistema procesó con éxito el audio, limpió y anonimizó el texto, y generó un conjunto de datos de Q&A estructurado.
Validación Funcional: Se llevó a cabo un experimento de ajuste fino en el modelo Llama 2 7B. El modelo resultante demostró la capacidad de comprender el contexto del centro de llamadas y responder a consultas simuladas de clientes sin desviarse del dominio.
Limitaciones Observadas: Aunque es funcional, el análisis cualitativo reveló que algunas respuestas del modelo eran ocasionalmente demasiado genéricas o carecían de la especificidad requerida para consultas matizadas, lo que sugiere espacio para mejorar la diversidad del conjunto de datos y el proceso de síntesis.

Significancia
El artículo afirma que el enfoque propuesto es una solución viable para convertir datos conversacionales no estructurados en recursos valiosos para entrenar LLMs. Al automatizar la transformación de grabaciones de llamadas de centros de atención en conjuntos de datos instructivos, el trabajo ofrece un camino sistemático para desbloquear el conocimiento operativo que típicamente se encuentra disperso y subutilizado. Este desarrollo tiene el potencial de facilitar la creación de sistemas de IA más efectivos y conscientes del contexto para tareas de preguntas y respuestas en el servicio al cliente. Los autores enfatizan que, si bien el trabajo actual establece una base prometedora, la evaluación cuantitativa rigurosa y la optimización adicional de los componentes del pipeline (como la precisión del ASR y los algoritmos de emparejamiento) son pasos necesarios para el futuro.