F-Actor: Controllable Conversational Behaviour in Full-Duplex Models

이 논문은 제한된 학술적 자원으로도 효율적으로 학습 가능하며, 화자 목소리, 대화 주제, 백채널링 및 중단과 같은 대화 행위를 명시적 지시를 통해 제어할 수 있는 최초의 오픈 소스 풀-듀플렉스 대화형 음성 모델인 'F-Actor'를 제안합니다.

핵심

이 논문은 **'F-Actor'**라는 새로운 인공지능 시스템을 소개합니다. 쉽게 말해, 이 AI 는 단순히 말을 잘하는 것을 넘어, **인간처럼 대화의 흐름을 읽고 상황에 맞춰 자연스럽게 반응할 수 있는 '배우'**가 되는 것을 목표로 합니다.

기존의 AI 비서들은 우리가 말을 다 끝낼 때까지 기다렸다가 대답하는 '반응형'이었지만, F-Actor 는 우리가 말을 하다가도 끼어들거나, "아, 그렇군요"라고 짧게 반응하는 등 실시간으로 대화에 참여하는 '풀-듀플렉스 (Full-Duplex)' 기술을 구현했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "연기하는 배우"가 되다

기존의 대화형 AI 는 무대 위에서 대본만 읽는 로봇 같았습니다. 사용자가 말을 끝내야만 대본을 꺼내 읽었습니다. 하지만 F-Actor 는 즉흥극 (Improvisation) 을 하는 배우입니다.

• 상황에 따른 연기: 사용자가 화가 나면 진지하게, 기분이 좋으면 유쾌하게 반응합니다.
• 대화 주도권: "내가 먼저 말을 걸고 싶어"라고 지시하면 먼저 말을 걸고, "너가 먼저 해"라고 하면 기다립니다.
• 자연스러운 끼어들기: 상대방이 말을 하다가도 중요한 순간에 "아니, 그건 아니야!"라고 자연스럽게 끼어들거나, "음...", "그래?" 같은 짧은 반응 (백채널링) 을 넣습니다.

2. 기술의 비밀: "무거운 엔진"과 "가벼운 조종석"

이 시스템을 만드는 데 보통은 거대한 데이터와 슈퍼컴퓨터가 필요하다고 알려져 있습니다. 하지만 연구팀은 "무거운 엔진은 그대로 두고, 조종석만 바꾸는" 똑똑한 방법을 썼습니다.

• 비유: imagine 한 거대한 **유성 (Audio Encoder)**이 있습니다. 이 유성은 소리를 듣고 이해하는 능력은 이미 완벽합니다. 연구팀은 이 유성을 새로 만들지 않고 **동결 (Frozen)**시켜 두었습니다.
• 조종석 (LLM): 대신 유성을 조종하는 **조종석 (언어 모델)**만 새로 훈련시켰습니다.
• 효과: 덕분에 거대한 데이터 (수만 시간) 가 아니라, 2,000 시간이라는 상대적으로 적은 데이터와 일반적인 대학 연구실 수준의 컴퓨터 (A100 GPU 4 개) 로도 훈련이 가능해졌습니다. 마치 거대한 비행기를 새로 사지 않고, 기존 비행기의 조종석만 업그레이드해서 새로운 임무를 수행하게 만든 것과 같습니다.

3. 어떻게 배우게 했을까? (명령을 따르는 법)

이 AI 는 "지금부터 너는 내 친구처럼 대화하되, 대화 중 3 번은 끼어들고, 2 번은 짧게 반응해"라고 **명령 (Instruction)**을 내리면 그대로 따릅니다.

• 명령장 (Prompt): 연구팀은 AI 에게 "이 대화는 식당에서 음식이 늦게 나온 것에 대해 화내는 상황이고, 너는 화난 고객 역할을 해"라고 구체적인 시나리오와 행동 지침을 줍니다.
• 목소리 변장: "너는 이제 할머니 목소리로 말해"라고 하면, AI 는 미리 준비된 목소리 데이터를 참고하여 할머니 톤으로 변합니다. (단, 특정 사람 목소리를 도용하는 것은 막기 위해 제한된 목소리만 사용하도록 설계했습니다.)

4. 왜 이것이 중요한가?

지금까지의 AI 대화는 "내가 말하면 AI 가 대답하고, AI 가 말하면 내가 듣는" 교차로 신호등처럼 딱딱했습니다. 하지만 F-Actor 는 실제 인간 사이의 대화처럼, 서로가 말을 하다가도 겹치고, 끊고, 반응하는 유동적인 흐름을 만들어냅니다.

• 자연스러움: "음..." 같은 짧은 반응이나 끼어들기가 가능해져서 AI 가 더 인간처럼 느껴집니다.
• 유연성: 상황에 따라 AI 의 성격, 목소리, 대화 스타일을 사용자가 마음대로 조절할 수 있습니다.

5. 한계와 주의점 (현실적인 이야기)

물론 완벽한 것은 아닙니다.

• 숫자 맞추기: "3 번 끼어들어"라고 해도 정확히 3 번만 하는 것은 아직 어렵습니다. 대략적인 방향성만 잡는 수준입니다. (배우가 대본을 완벽히 외우지 않고 즉흥적으로 연기하는 것과 비슷합니다.)
• 실시간성: 현재는 소리를 잘게 쪼개서 처리하는 방식이라, 완전히 실시간으로 끊김 없이 대화하는 데는 기술적 한계가 있습니다.
• 위험성: 목소리를 흉내 낼 수 있으므로 사기나 impersonation(가장) 에 악용될 수 있어, 연구팀은 이를 연구 목적으로만 공개하고 안전 장치를 마련했습니다.

요약

F-Actor는 거대한 슈퍼컴퓨터 없이도, 적은 비용으로 **"인간처럼 대화할 줄 아는 배우"**를 만든 연구입니다. 단순히 말을 잘하는 것을 넘어, 누가 먼저 말을 걸고, 어떤 톤으로, 얼마나 자주 끼어들어야 할지까지 지시할 수 있는 조종 가능한 대화형 AI의 새로운 시대를 열었습니다.

이 기술이 발전하면, 우리와 대화하는 AI 가 더 이상 기계가 아니라 실제 친구나 동료처럼 느껴지는 날이 머지않아 올 것입니다.

기술 요약

F-Actor: 풀-듀플렉스 (Full-Duplex) 모델의 제어 가능한 대화 행동에 대한 기술적 요약

이 논문은 F-Actor라는 새로운 오픈 소스 풀-듀플렉스 대화 음성 모델을 제안합니다. 이 모델은 인간의 자연스러운 대화처럼 동시에 듣고 말하며, 사용자의 지시 (Instruction) 에 따라 화자 목소리, 대화 주제, 그리고 대화 행동 (백채널링, 중단 등) 을 동적으로 제어할 수 있습니다.

1. 문제 정의 (Problem)

기존의 대화형 음성 시스템은 텍스트 기반 시스템과 달리 다음과 같은 한계를 가지고 있었습니다:

• 풀-듀플렉스 (Full-Duplex) 부재: 인간은 대화 중에도 상대방이 말할 때 끼어들거나 (interruption), 짧은 반응음 (backchannel, 예: "네", "아니요") 을 보내며 동시에 듣고 말할 수 있습니다. 기존 시스템은 대부분 턴 기반 (Turn-based) 으로 작동하여 이러한 자연스러운 중첩 (Overlap) 을 처리하지 못했습니다.
• 제어 가능성 부족: 화자의 목소리 톤, 대화 주제, 대화 개시 여부, 그리고 백채널링이나 중단의 빈도 등을 사용자가 명시적으로 지시하여 시스템의 행동을 조절할 수 있는 모델이 부족했습니다.
• 자원 소모: 기존 풀-듀플렉스 모델들은 대규모 사전 학습이나 다단계 최적화를 요구하여 학술적 자원 제약 하에서 재현하기 어려웠습니다.

2. 방법론 (Methodology)

2.1 모델 아키텍처

F-Actor 는 LLM(대형 언어 모델) 을 기반으로 하며, 다음과 같은 구성 요소로 이루어져 있습니다:

• 백본 LLM: Llama3.2-1B-Instruct를 사용합니다.
• 오디오 인코더/디코더: Nemo-nano-codec을 사용하며, 오디오를 4 개의 독립적인 코드북 (Codebook) 을 가진 이산 음향 단위 (DAU, Discrete Acoustic Units) 로 변환합니다.
• 고정된 인코더: 효율성을 위해 오디오 인코더는 고정 (Frozen) 하고, LLM 과 오디오 헤드 (Audio Heads) 만 파인튜닝합니다.
• 이중 스트림 처리: 사용자 (User) 와 시스템 (System) 의 오디오 스트림을 동시에 처리하여 중첩된 음성을 모델링합니다. 각 스트림은 별도의 임베딩 레이어를 가집니다.
• 지시 프롬프트 및 화자 임베딩:
  • 텍스트 프롬프트: 대화의 내러티브 (주제), 누가 대화를 시작할지, 백채널링/중단 횟수 등을 텍스트로 지정합니다.
  • 화자 임베딩: ECAPA-TDNN 을 사용하여 5 초 분량의 음성 샘플에서 추출한 임베딩을 시스템의 목소리 특성을 제어하는 데 사용합니다.

2.2 학습 프로토콜

• 단일 단계 학습 (Single-stage Training): 기존 연구들과 달리 별도의 사전 학습이나 복잡한 다단계 학습 없이, 지시 프롬프트와 함께 단일 단계로 학습합니다.
• 데이터: Behavior-SD 데이터셋 (약 2,000 시간의 합성 대화 데이터) 을 사용하며, 텍스트와 음성의 정렬 (Word-level alignment) 과 오디오 지연 (Audio Delay) 기법을 적용하여 텍스트와 음성의 동기화를 최적화합니다.
• 손실 함수: 시스템 역할만 예측하거나 (System-only), 시스템과 사용자 역할을 모두 예측 (s/u) 하도록 학습할 수 있습니다.

2.3 핵심 설계 선택

• FSQ (Finite Scalar Quantization): 코드북 간의 의존성이 없어 병렬 예측이 가능하게 하여 모델링을 단순화합니다.
• 텍스트 스트림 추가: 오디오 생성과 함께 대응하는 텍스트를 생성하도록 하여, 텍스트와 오디오 간의 정렬을 용이하게 하고 대화의 일관성을 높입니다.
• 오디오 지연 (Audio Delay): 텍스트 토큰 생성을 먼저 수행하고 오디오 토큰을 2 토큰만큼 지연시켜 생성함으로써, 텍스트와 오디오의 정렬 오차를 줄이고 WER(단어 오류율) 를 개선합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 오픈 소스 제어 가능 풀-듀플렉스 모델: 화자 목소리, 주제, 대화 행동 (백채널링, 중단), 대화 개시 등을 지시할 수 있는 공개된 모델입니다.
2. 효율적인 학습 방법론: 2,000 시간의 데이터와 4 개의 A100 GPU 를 사용하여 2 일 만에 학습이 가능하며, 대규모 사전 학습 없이도 우수한 성능을 달성합니다.
3. 체계적인 설계 분석: 텍스트 스트림 유무, 정렬 방식 (단어/발화 단위), 오디오 지연, 코드북 양자화 방식 (FSQ vs RVQ) 등 다양한 설계 선택의 영향을 체계적으로 분석하고 최적의 구성을 제시합니다.

4. 실험 결과 (Results)

4.1 일반 시스템 능력

• 음질 및 일관성: 텍스트 스트림을 추가하고 단어 단위 정렬 (Word-level alignment) 과 2 토큰 지연을 적용했을 때 가장 좋은 성능을 보였습니다.
  • UTMOS (음질 점수): 약 3.4~3.5 (Ground Truth 대비 경쟁력 있는 수준).
  • WER (음성 - 텍스트 정렬): 약 7.6% 로, 기존 방법 대비 크게 개선되었습니다.
  • 발화 시간 균형: 화자 간의 발화 시간이 균형 있게 유지됩니다.

4.2 지시 수행 능력 (Instruction Following)

• 대화 개시: 텍스트 스트림과 오디오 지연을 함께 사용할 때, 프롬프트에 따른 대화 개시 정확도가 99% 이상을 기록했습니다.
• 화자 일관성: 목표 화자의 목소리와 생성된 음성의 코사인 유사도가 0.54 로 높게 유지되었으며, 대화 중 화자 목소리가 변질 (Drift) 되는 현상은 최소화되었습니다.
• 내러티브 준수: LLM 판정자와 인간 평가를 통해 프롬프트에 지정된 대화 주제와 흐름을 잘 따르는 것을 확인했습니다.
• 백채널링 및 중단: 프롬프트에 지정된 횟수와 생성된 횟수 간의 상관관계가 통계적으로 유의미했습니다 (백채널링: 0.54, 중단: 0.25). 단, 중단은 학습 데이터에서 빈도가 낮아 정확도 향상이 더 필요함을 지적했습니다.

4.3 턴 테이킹 (Turn-taking) 행동

• 기존 SOTA 모델 (Moshi, dGLSM) 과 비교했을 때, 휴지 (Pause), 간격 (Gap), 중첩 (Overlap) 등의 통계적 특성이 실제 인간 대화 데이터 (Behavior-SD) 와 유사한 분포를 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

의의

• 접근성: 고비용의 대규모 학습 없이도 풀-듀플렉스 대화 시스템을 구축할 수 있는 실용적인 프레임워크를 제공합니다.
• 재현성: 모델과 학습 코드를 공개하여 연구 커뮤니티의 재현 가능한 연구와 후속 연구를 촉진합니다.
• 자연스러운 상호작용: 인간의 대화 특성을 모방하는 동시에, 사용자가 시스템의 행동 스타일 (예: 적극적 개입 여부) 을 제어할 수 있게 하여 사용자 경험을 향상시킵니다.

한계

1. 정확한 횟수 제어의 어려움: 프롬프트에 지정된 백채널링이나 중단 횟수를 정확히 맞추지는 못하며, 주로 방향성 신호 (더 많거나 더 적게) 로 작용합니다. 이는 학습 데이터 내 해당 현상의 빈도가 낮기 때문입니다.
2. 스트리밍 제한: 사용된 NanoCodec 이 현재 스트리밍 인코더 추론을 지원하지 않아, 완전한 온라인 생성보다는 청크 단위 처리에 제한됩니다.
3. 언어 제한: 현재 영어 데이터셋으로만 학습 및 평가되었으며, 다른 언어로의 확장은 데이터 부족으로 인해 어렵습니다.
4. 윤리적 리스크: 목소리 복제나 사기 등 악용 가능성에 대비해, 고정된 화자 집합만 사용하도록 제한하고 합성음 특성을 유지하도록 설계했습니다.

이 논문은 제어 가능한 풀-듀플렉스 음성 대화 시스템의 새로운 기준을 제시하며, 향후 더 자연스럽고 사용자 맞춤형 AI 비서 개발의 중요한 토대가 될 것으로 기대됩니다.