Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

Resumo Técnico do Call2Instruct

Definição do Problema
A adaptação de Grandes Modelos de Linguagem (LLMs) para domínios específicos, particularmente para o atendimento ao cliente, depende fortemente de conjuntos de dados de ajuste fino (fine-tuning) de alta qualidade em formato de instrução (Pergunta-Resposta). Embora os call centers possuam vastas quantidades de dados conversacionais valiosos e do mundo real, essas informações existem em formatos de áudio não estruturados. Transformar essas gravações ruidosas e desorganizadas em conjuntos de dados instrucionais estruturados apresenta um desafio significativo. As abordagens existentes frequentemente tratam estágios isolados — como Reconhecimento Automático de Fala (ASR), normalização de texto ou extração semântica — de forma independente, carecendo de um pipeline automatizado integrado e de ponta a ponta capaz de converter o áudio bruto de call center diretamente em pares de Q&A prontos para LLM.

Metodologia: O Pipeline Call2Instruct
O artigo propõe o "Call2Instruct", um pipeline automatizado de cinco estágios projetado para transformar áudio bruto de call center em conjuntos de dados de Q&A instrucionais. O processo flui da seguinte forma:

1. Aquisição e Pré-processamento de Áudio:

   • O áudio bruto é recuperado de armazenamentos (ex: buckets da AWS) e padronizado.
   • Separação de Canais e Redução de Ruído: A diarização de locutor isola a fala do agente e do cliente (embora, no caso de estudo específico, os canais estivessem pré-separados). Um framework de redução de ruído mitiga o ruído de fundo.
   • Filtragem de Segmentos: Uma abordagem não supervisionada usando K-Means clustering em características acústicas identifica e remove segmentos não humanos, como mensagens de Resposta de Voz Interativa (IVR) ou atendentes automáticos.
   • Transcrição: O áudio pré-processado é convertido em texto usando sistemas de ASR que utilizam o modelo OpenAI Whisper Large (otimizado com LoRA e quantização).

2. Pré-processamento e Limpeza Textual:

   • As transcrições brutas passam por normalização, incluindo restauração de pontuação e correção de artefatos de ASR (ex: alucinações em segmentos silenciosos).
   • Anonimização: Informações de Identificação Pessoal (PII) são detectadas e mascaradas usando tokens de placeholder (ex: <NOME>, <ID_CONTA>) para garantir a conformidade com regulamentações de proteção de dados como GDPR e LGPD.

3. Extração de Informação Semântica e Vetorização:

   • Reescrita de Demanda: As falas dos clientes são processadas via um LLM (ChatGPT) para reescrevê-las em perguntas objetivas e diretas, removendo marcadores orais e prolixidade.
   • Vetorização: Tanto as demandas reescritas dos clientes quanto as respostas correspondentes dos agentes são convertidas em embeddings de vetores densos usando o modelo text-embedding-ada-002.
   • Armazenamento: Esses vetores, juntamente com metadados (persona do locutor, ID do arquivo original), são armazenados em um banco de dados vetorial (Elasticsearch) para facilitar a busca semântica.

4. Geração de Conjunto de Dados de Pergunta-Resposta (Q&A):

   • Correspondência Semântica: Para cada demanda de cliente reescrita, o sistema realiza uma busca de similaridade semântica contra todo o corpus de respostas dos agentes para recuperar as respostas mais relevantes, independentemente do contexto original da interação.
   • Refinamento e Síntese: Os top $N$ candidatos de resposta (onde $N=3$) são refinados individualmente por um LLM para melhorar a clareza e a objetividade. Subsequentemente, esses candidatos refinados são sintetizados pelo LLM em uma única resposta coerente e abrangente que agrega informações relevantes enquanto descarta ruídos.
   • Formatação: Os pares finais são estruturados em um formato de ajuste de instrução (ex: "Com base na consulta do cliente, qual foi a solução recomendada?").

5. Validação:

   • O pipeline inclui verificações automáticas de coerência e vazamento de privacidade.
   • Validação Funcional: O conjunto de dados gerado é utilizado para realizar o Ajuste Fino de Instrução (Instruct Fine-Tuning) em um LLM pré-treinado (Llama 2 7B) usando a plataforma Lamini para verificar sua utilidade.

Principais Contribuições

• Automação de Ponta a Ponta: O artigo apresenta um fluxo de trabalho completo e automatizado que preenche a lacuna entre o áudio de call center bruto e ruidoso e conjuntos de dados estruturados e prontos para instrução, abordando um gargalo crítico no treinamento de LLMs de domínio específico.
• Agregação Semântica: Diferente de métodos simples de transcrição-para-Q&A, o pipeline utiliza busca semântica para cruzar demandas com todo o corpus de respostas dos agentes, seguido de síntese baseada em LLM para criar respostas de alta qualidade e abrangentes.
• Processamento Preservador de Privacidade: A integração de etapas robustas de anonimização garante que dados sensíveis de clientes sejam tratados de forma em conformidade antes do treinamento do modelo.
• Código Aberto: Os autores disponibilizaram o código desenvolvido publicamente para promover a reprodutibilidade e pesquisas futuras.

Resultados
O pipeline foi implementado e testado com sucesso utilizando mais de 3.000 gravações de call center do setor de telecomunicações.

• Geração de Dataset: O sistema processou com sucesso o áudio, limpou e anonimizou o texto, e gerou um conjunto de dados de Q&A estruturado.
• Validação Funcional: Um experimento de ajuste fino foi conduzido no modelo Llama 2 7B. O modelo resultante demonstrou a capacidade de entender o contexto de call center e responder a consultas simuladas de clientes sem se desviar do domínio.
• Limitações Observadas: Embora funcional, a análise qualitativa revelou que algumas respostas do modelo foram ocasionalmente muito genéricas ou careceram da especificidade necessária para consultas nuances, sugerindo espaço para melhoria na diversidade do dataset e no processo de síntese.

Significância
O artigo afirma que a abordagem proposta é uma solução viável para converter dados conversacionais não estruturados em recursos valiosos para o treinamento de LLMs. Ao automatizar a transformação de gravações brutas de call center em conjuntos de dados instrucionais, o trabalho oferece um caminho sistemático para desbloquear o conhecimento operacional que normalmente está disperso e subutilizado. Este desenvolvimento tem o potencial de facilitar a criação de sistemas de IA mais eficazes e conscientes do contexto para tarefas de Q&A de atendimento ao cliente. Os autores enfatizam que, embora o trabalho atual estabeleça uma base promissora, a avaliação quantitativa rigorosa e a otimização adicional dos componentes do pipeline (como precisão de ASR e algorit&\text{ de} pareamento) são passos futuros necessários.