⚡ electrical engineering

Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning

이 논문은 오디오 처리, 텍스트 정제, 그리고 의미론적 매칭의 다단계 과정을 통해 노이즈가 있는 콜센터 음성 녹음 데이터를 LLM 미세 조정을 위한 고품질 Q&A 지시 데이터셋으로 변환하는 자동화된 엔드투엔드 파이프라인인 Call2Instruct를 소개하며, 이를 Llama 2 7B 모델의 미세 조정을 통해 성공적으로 입증하였다.

원저자: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

게시일 2026-01-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alex Echeverria, Sávio Salvarino Teles de Oliveira, Fernando Marques Federson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게는 분주한 콜센터의 오래되고 먼지 쌓인 오디오 녹음 파일이 가득한 거대한 도서관이 있다고 상상해 보십시오. 이 녹음들은 실제 사람들이 대화하는 내용이지만, 매우 지저도합니다: 정적(static)이 섞여 있고, 사람들이 서로 말을 가로채기도 하며, 자동 응답 메뉴가 나오고, 대화의 구조도 잡혀 있지 않습니다. 당신은 이 녹음들을 바탕으로 고객의 질문에 답할 수 있도록 '슈퍼 스마트'한 컴퓨터(거대 언语言 모델, 즉 LLM)를 가르치고 싶지만, 컴퓨터는 가공되지 않은 노이즈 섞인 오디오로부터 직접 학습할 수 없습니다. 컴퓨터에게는 정돈된 "질문"과 "답변"이 담긴 깨끗하고 체계적인 교과서가 필요합니다.

**"Call2Instruct"**라는 논문은 그 지저분한 오디오를 가져와 컴퓨터를 위한 완벽한 교과서로 바꿔주는 자동화된 파이프라인(로봇 공장 라인)을 설명합니다.

이 공장이 작동하는 방식은 다음과 같습니다:

1. 소리 정화 스테이션 (오디오 처리)

먼저, 가공되지 않은 오디오가 정화 스테이션으로 들어갑니다.

문제점: 녹음은 마치 두 사람이 대화하고 있지만 누가 누구인지 구분하기 어렵고 배경 소음이 가득한 시끄러운 방과 같습니다.
해결책: 시스템은 음향 엔지니어처럼 행동합니다. 목소리를 분리하여(어느 부분이 고객이고 어느 부분이 상담사인지 구분함), 정적 노이즈를 제거하고, 지루한 자동 응답 메뉴(예: "판매를 원하시면 1번을 누르세요")를 잘라냅니다.
결과: 그 후 시스템은 '슈퍼 리스너'(음성-텍스트 변환 도구)를 사용하여 깨끗한 오디오를 초안 형태의 텍스트로 변환합니다.

2. 편집자의 책상 (텍스트 정제 및 개인정보 보호)

이제 시스템은 거친 전사(transcript)를 갖게 되었지만, 여전히 지저분합니다. 이상한 오타가 있을 수도 있고, 단어가 반복되거나("음, 음, 음"), 이름이나 계좌 번호 같은 민감한 정보가 포함되어 있을 수도 있습니다.

문제점: 컴퓨터는 지저분한 텍스트 때문에 혼란을 겪으며, 고객의 개인 정보를 공유하는 것은 불법입니다.
해결책: 자동화된 편집자가 투입됩니다. 문장 부호를 수정하고, "음", "아"와 같은 불필요한 단어를 제거하며, 개인정보 보호 요원 역할을 수행합니다. 이름이나 계좌 번호 같은 실제 정보를 <NAME> 또는 <ACCOUNT_ID>와 같은 자리 표시자(placeholder)로 교체하여 비밀이 유출되지 않도록 보장합니다.
결과: 깨끗하고 안전하며 읽기 쉬운 대화 기록이 만들어집니다.

3. 마법 지도를 가진 사서 (의미론적 추출)

이 부분이 공장에서 가장 똑똑한 부분입니다. 시스템은 "고객이 실제로 원한 것이 무엇인가?"와 "상담사가 그것을 어떻게 해결했는가?"를 파악해야 합니다.

문제점: 실제 대화에서 고객은 간단한 질문을 하기 전에 5분 동안 횡설수설할 수 있고, 상담사의 답변은 대화 중간에 숨겨져 있을 수 있습니다.
해결책: 시스템은 '마법 지도'(벡터 임베딩)를 사용합니다. 고객의 횡설수설을 명확하고 직접적인 질문(예: "비밀번호를 어떻게 재설정하나요?")으로 번역합니다. 상담사의 답변에 대해서도 동일하게 수행합니다. 그런 다음 이 질문과 답변을 지도 위의 수학적 좌표로 변환합니다.
결과: 이제 시스템은 완벽한 매칭을 찾아낼 수 있습니다. 설령 고객은 "재설정(resetting)"에 대해 묻고 상담사는 "다시 시작하기(restarting)"에 대해 말했더라도, 마법 지도는 이들이 같은 의미임을 알고 서로를 짝지어 줍니다.

4. 교과서 집필 (데이터셋 생성)

이제 시스템은 적절한 질문과 답변을 매칭했으므로, 컴퓨터가 학습할 수 있는 형태로 구성해야 합니다.

문제점: 컴퓨터는 "여기에 지침이 있고, 여기에 답변이 있다"라는 특정한 형식을 통해 학습해야 합니다.
해결책: 시스템은 교과서 저자처럼 행동합니다. 매칭된 쌍을 가져와 완벽한 형식으로 작성합니다. 예를 들어, "고객의 요청을 바탕으로, 해결 방법은 무엇입니까?"라는 지침을 상담사의 답변 앞에 추가할 수 있습니다.
결과: 학습 준비가 된 새롭고 고품질인 데이터셋이 탄생합니다.

5. 최종 시험 (검증)

이 공장이 실제로 작동하는지 확인하기 위해, 저자들은 테스트를 구축했습니다.

테스트: 그들은 이 새로운 데이터셋을 사용하여 컴퓨터 모델(특히 Llama 2 7B라는 모델)을 학습시켰습니다.
결과: 컴퓨터는 데이터를 성공적으로 학습했습니다. 시뮬레이션된 고객 질문을 던졌을 때, 모델은 해당 콜센터에 적합한 답변을 내놓았습니다. 이는 파이프라인이 성공적으로 작동했음을 입증합니다. 즉, 지저분한 오디오를 유용한 학습 도구로 변환하는 데 성공한 것입니다.

핵심 요약

논문은 이 "Call2Instruct" 파이프라인이 작동하는 솔루션이라고 결론짓습니다. 이 시스템은 콜센터 녹음의 혼란스럽고 구조화되지 않은 현실을 가져와, 이를 깨끗하고 프라이버시가 보호되며 구조화된 데이터셋으로 바꾸는 전체 과정을 자동화합니다. 이를 통해 기업들은 수천 개의 질문과 답변을 사람이 일일이 타이핑할 필요 없이, 자신들의 실제 데이터를 사용하여 실제로 뛰어난 성능을 보이는 AI 어시스턴트를 훈련할 수 있습니다.

저자들은 또한 다른 사람들이 이를 기반으로 발전시킬 수 있도록 이 공장의 코드를 공개하였습니다.

Call2Instruct 기술 요약

문제 정의
대규모 언어 모델(LLM)을 특정 도메인, 특히 고객 서비스 분야에 적응시키는 것은 고품질의 지시어 형식(질문-답변) 미세 조정 데이터셋에 크게 의존합니다. 콜센터는 가치 있는 실제 대화 데이터를 방대하게 보유하고 있지만, 이 정보는 비구조화된 오디오 형식으로 존재합니다. 이러한 노이즈가 섞이고 무질서한 녹음 데이터를 구조화된 지시어 데이터셋으로 변환하는 것은 상당한 과제입니다. 기존의 접근 방식들은 자동 음성 인식(ASR), 텍스트 정규화 또는 의미 추출과 같은 개별 단계를 독립적으로 다루는 경우가 많아, 가공되지 않은 콜센터 오디오를 LLM용 Q&A 쌍으로 직접 변환할 수 있는 통합된 엔드 투 엔드 자동 파이프라인이 부족합니다.

방법론: Call2Instruct 파이프라인
본 논문은 가공되지 않은 콜센터 오디오를 지시어 기반 Q&A 데이터셋으로 변환하기 위해 설계된 자동화된 5단계 파이프라인인 "Call2Instruct"를 제안합니다. 프로세스는 다음과 같이 진행됩니다:

오디오 획득 및 전처리:
- 원시 오디오를 저장소(예: AWS 버킷)에서 가져와 표준화합니다.
- 채널 분리 및 노이즈 제거: 화자 다이아리제이션(Speaker diarization)을 통해 상담사와 고객의 음성을 분리합니다(단, 본 사례 연구에서는 채널이 사전에 분리되어 있었습니다). 노이즈 제거 프레임워크를 통해 배경 소음을 완화합니다.
- 세그먼트 필터링: 음향 특징에 대한 K-Means 클러스터링을 사용하는 비지도 학습 방식을 통해 IVR(대화형 음성 응답) 또는 자동 안내 메시지와 같은 비인간 세그먼트를 식별하고 제거합니다.
- 전사(Transcription): 전처리된 오디오는 LoRA 및 양자화로 최적화된 OpenAI의 Whisper Large 모델을 활용하는 ASR 시스템을 통해 텍스트로 변환됩니다.
텍스트 전처리 및 정제:
- 원시 전사 데이터는 구두점 복원 및 ASR 아티팩트(예: 무음 구간에서의 환각 현상) 교정을 포함한 정규화 과정을 거칩니다.
- 익명화: GDPR 및 LGPD와 같은 데이터 보호 규정을 준수하기 위해 개인 식별 정보(PII)를 탐지하고 플레이스홀더 토큰(예: <NAME>, <ACCOUNT_ID>)을 사용하여 마스킹 처리합니다.
의미 정보 추출 및 벡터화:
- 요구사항 재작성(Demand Rewriting): 고객의 발화를 LLM(ChatGPT)을 통해 객관적이고 직접적인 질문으로 재작성하여 구어체적 특징과 장황함을 제거합니다.
- 벡터화: 재작성된 고객 요구사항과 그에 대응하는 상담사 답변을 text-embedding-ada-002 모델을 사용하여 밀집 벡터 임베딩으로 변환합니다.
- 저장: 이러한 벡터는 시맨틱 검색을 용이하게 하기 위해 메타데이터(화자 페르소나, 원본 파일 ID)와 함께 벡터 데이터베이스(Elasticsearch)에 저장됩니다.
질문-답변(Q&A) 데이터셋 생성:
- 의미적 매칭(Semantic Matching): 각 재작성된 고객 요구사항에 대해, 원래의 상호작용 문맥에 관계없이 전체 코퍼스의 상담사 답변 중에서 가장 관련성이 높은 답변을 검색하기 위해 시맨틱 유사도 검색을 수행합니다.
- 정제 및 합성: 상위 $N$ 개의 후보 답변(여기서 $N=3$ )은 명확성과 객관성을 높이기 위해 LLM에 의해 개별적으로 정제됩니다. 이후, 정제된 후보들은 관련 정보를 집계하고 노이즈를 제거하면서 하나의 일관되고 포괄적인 답변으로 LLM에 의해 합성됩니다.
- 포맷팅: 최종 쌍은 지시어 튜닝 형식(예: "고객의 질의를 바탕으로, 권장된 해결책은 무엇입니까?")으로 구조화됩니다.
검증:
- 파이프라인에는 일관성 및 개인정보 유출에 대한 자동 점검이 포함됩니다.
- 기능적 검증: 생성된 데이터셋의 유용성을 검증하기 위해 Lamini 플랫폼을 사용하여 사전 학습된 LLM(Llama 2 7B)에 대한 지시어 미세 조정(Instruct Fine-Tuning)을 수행합니다.

주요 기여

엔드 투 엔드 자동화: 본 논문은 가공되지 않은 노이즈 섞인 콜센터 오디오와 구조화된 지시어 준비 데이터셋 사이의 간극을 메우는 완전한 자동화 워크플로우를 제시하며, 도메인 특화 LLM 학습의 핵심적인 병목 현상을 해결합니다.
의미적 집계(Semantic Aggregation): 단순한 전사-Q&A 방식과 달리, 이 파이프라인은 시맨틱 검색을 활용하여 요구사항을 전체 상담사 답변 코퍼스와 교차 참조한 다음, LLM 기반 합성을 통해 고품질의 포괄적인 답변을 생성합니다.
개인정보 보호 처리: 강력한 익명화 단계의 통합은 민감한 고객 데이터가 모델 학습 전에 규정을 준 준수하며 처리되도록 보장합니다.
오픈 소스: 저자들은 재현성과 향후 연구를 촉진하기 위해 개발된 코드를 공개하였습니다.

결과
파이프라인은 통신 분야의 3,000개 이상의 콜센터 녹음 데이터를 사용하여 성공적으로 구현 및 테스트되었습니다.

데이터셋 생성: 시스템은 오디오를 처리하고, 텍스트를 정제 및 익명화하며, 구조화된 Q&A 데이터셋을 성공적으로 생성했습니다.
기능적 검증: Llama 2 7B 모델에 대한 미세 조정 실험이 수행되었습니다. 결과 모델은 콜센터 문맥을 이해하고 도메인을 벗어나지 않으면서 시뮬레이션된 고객 질의에 응답하는 능력을 보여주었습니다.
관찰된 한계점: 기능적이지만, 질적 분석 결과 일부 모델 응답이 때때로 너무 일반적이거나 미묘한 질의에 필요한 구체성이 부족한 것으로 나타났으며, 이는 데이터셋의 다양성과 합성 프로세스의 개선 여지가 있음을 시사합니다.

의의
본 논문은 제안된 접근 방식이 비구조화된 대화 데이터를 LLM 학습을 위한 가치 있는 자원으로 변환하는 실행 가능한 솔루션임을 주장합니다. 가공되지 않은 콜센터 녹음을 지시어 데이터셋으로 변환하는 과정을 자동화함으로써, 본 연구는 일반적으로 분산되어 있고 제대로 활용되지 못하는 운영 지식을 해제하는 체계적인 경로를 제공합니다. 이러한 발전은 고객 서비스 Q&A 작업을 위해 더 효과적이고 문맥을 잘 파악하는 AI 시스템을 구축하는 데 잠재력을 가지고 있습니다. 저자들은 현재의 작업이 유망한 토대를 마련했지만, 엄격한 정량적 평가와 파이프라인 구성 요소(예: ASR 정확도 및 페어링 알고리즘)의 추가적인 최적화가 필요한 향후 단계임을 강조합니다.