💻 computer science

Human-1 by Josh Talks: A Full-Duplex Conversational Modeling Framework in Hindi using Real-World Conversations

이 논문은 Moshi 아키텍처를 기반으로 26,000시간의 실제 힌디어 대화 데이터를 활용하여, 중단이나 겹침과 같은 자연스러운 대화 패턴을 구현한 최초의 오픈 소스 힌디어 전이중(Full-duplex) 음성 대화 모델인 'Human-1'을 제안합니다.

원저자: Bhaskar Singh, Shobhit Banga, Pranav Sharma

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bhaskar Singh, Shobhit Banga, Pranav Sharma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 AI의 문제점: "눈치 없는 대화 상대" 🤖🚫

지금까지의 대부분의 AI(시리, 빅스비 등)는 '반쪽짜리 대화(Half-duplex)' 방식이었습니다.

비유하자면, 친구와 대화를 하는데 친구가 **"내가 말을 다 끝낼 때까지 너는 입을 꾹 다물고 있어야 해. 내가 말을 마치면 그때서야 너는 입을 열 수 있어"**라고 규칙을 정해둔 것과 같습니다.

상대방이 말하는 도중에 "아, 진짜?", "맞아!" 같은 맞장구를 치고 싶어도 못 합니다.
상대방이 말을 더듬거나 잠시 멈췄을 때, 내가 말을 가로채거나 자연스럽게 끼어드는 **'눈치 있는 대화'**가 불가능하죠.

2. Human-1의 혁신: "눈치 백단 대화 파트너" 🧠✨

이 논문에서 만든 **'Human-1'**은 **'양방향 대화(Full-duplex)'**가 가능합니다.

이제 AI는 마치 진짜 사람 친구처럼 행동합니다.

끼어들기(Interruption): 내가 말하는 도중에 AI가 자연스럽게 말을 가로챌 수 있습니다.
맞장구(Backchannel): 내가 길게 설명할 때 AI가 옆에서 "음~", "그렇구나" 하며 고개를 끄덕이는 듯한 소리를 냅니다.
동시 대화(Overlap): 서로 말이 겹치는 실제 사람들의 대화 패턴을 그대로 따라 합니다.

3. 어떻게 만들었나요? (비법 레시피) 🍳

이 모델을 만들기 위해 연구진은 세 가지 핵심 재료를 준비했습니다.

① 엄청난 양의 '진짜 대화' 데이터 (26,000시간의 보물창고) 📚
AI에게 교과서를 읽히는 대신, 실제 사람들이 전화로 수다 떠는 녹음 파일 26,000시간을 통째로 먹였습니다. 특히 중요한 건, 두 사람의 목소리가 각각 다른 채널(스테레오)로 녹음되어 있어서, 누가 언제 말을 시작하고 끊는지 AI가 아주 정밀하게 배울 수 있었다는 점입니다. (이건 인도 언어 중에서도 역대급 규모라고 하네요!)

② 힌디어 전용 '언어 안경' 제작 (Tokenizer 교체) 👓
기존 AI는 영어 위주로 만들어져서 힌디어(데바나가리 문자)를 보면 글자를 아주 잘게 쪼개서 이해하는 데 어려움을 겪었습니다. 연구진은 힌디어를 아주 매끄럽게 읽을 수 있는 **새로운 전용 안경(Tokenizer)**을 맞춤 제작해 씌워주었습니다.

③ 2단계 훈련법 (기초 체력 → 실전 기술) 🏋️‍♂️

1단계 (Pre-training): 엄청난 양의 데이터를 통해 힌디어의 기본 구조와 소리의 흐름을 익힙니다.
2단계 (Fine-tuning): 아주 깨끗하고 자연스러운 대화 데이터 1,000시간을 집중적으로 공부시켜서, 대화의 '매너'를 완성합니다.

4. 결과는 어땠나요? 🏆

사람들이 직접 테스트해 본 결과, **"와, 진짜 사람 같다!"**라는 반응이 나왔습니다.
물론 아직은 완벽하지 않아서 가끔 대화 흐름을 놓치거나 말이 너무 길어질 때도 있지만, AI가 내는 소리의 자연스러움과 대화의 리듬감은 이미 사람의 수준에 매우 근접했습니다.

요약하자면! 📝

이 논문은 **"AI에게 힌디어로 수다 떠는 법을 가르쳐서, 눈치껏 맞장구도 치고 말도 가로챌 줄 아는 진짜 사람 같은 대화 능력을 선물했다"**는 내용입니다. 이는 앞으로 인도뿐만 아니라 다른 언어권에서도 AI가 훨씬 더 인간답게 소통할 수 있는 길을 열어준 중요한 발걸음입니다.

[기술 요약] Human-1: 실세계 대화를 이용한 힌디어를 위한 풀-듀플렉스(Full-Duplex) 대화 모델링 프레임워크

1. 문제 정의 (Problem Statement)

기존의 음성 대화 시스템은 대부분 하프-듀플렉스(Half-duplex) 방식으로, 한 화자가 말을 끝내야 다음 화자가 응답할 수 있는 턴제(Turn-based) 구조를 가집니다. 하지만 실제 인간의 대화는 서로 말을 가로채거나(Interruption), 동시에 말하거나(Overlap), 추임새(Backchannel)를 넣는 풀-듀플렉스(Full-duplex) 특성을 가집니다.

현재 이러한 풀-듀플렉스 기술은 주로 영어에 집중되어 있으며, 다음과 같은 언어적/기술적 한계가 존재합니다:

언어적 격차: 힌디어와 같은 인도 언어는 영어와 다른 음운 체계, 코드 믹싱(영어 혼용), 독특한 대화 규범을 가짐.
토크나이저 불일치: 기존 모델의 영어 기반 토크나이저는 데바나가리(Devanagari) 문자에 비효율적이며 토큰 파편화 문제를 야기함.
데이터 부족: 자연스러운 턴 테이킹과 오버랩 패턴을 학습하기 위해서는 분리된 채널(Stereo)을 가진 대규모의 실제 대화 데이터가 필수적이나, 힌디어권에는 이러한 데이터셋이 거의 없음.

2. 방법론 (Methodology)

2.1 기본 아키텍처: Moshi 기반 적응

본 연구는 최첨단 풀-듀플렉스 모델인 Moshi를 기반으로 합니다.

Mimi (Neural Audio Codec): 24kHz 음성을 12.5Hz의 이산 토큰으로 인코딩합니다. 연구 결과 Mimi가 재학습 없이도 힌디어 재구성 성능이 우수함을 확인하여, 계산 비용 절감을 위해 **Mimi 파라미터는 동결(Freeze)**하고 RQ-Transformer만 학습시켰습니다.
RQ-Transformer: 텍스트와 오디오 스트림을 병렬로 모델링하는 계층적 구조입니다.

2.2 힌디어 토크나이저 및 파라미터 재초기화

영어 기반 SentencePiece를 제거하고, 대규모 힌디어 코퍼스로 학습된 새로운 32,000개 어휘 규모의 SentencePiece 토크나이저를 도입했습니다.
토크나이저 교체에 따라 텍스트 임베딩 테이블과 Text Linear 레이어를 **재초기화(Reinitialization)**했습니다. 이는 단순 미세 조정(Fine-tuning)이 아닌 **부분적 사전 학습(Partial pre-training)**의 성격을 띱니다.

2.3 데이터셋 구축 (Key Contribution)

Pre-training Data: 14,695명의 화자로부터 수집한 26,000시간의 실제 힌디어 자연어 대화 코퍼스를 구축했습니다. 특히 화자별로 분리된 스테레오(Stereo) 채널로 녹음되어, 인위적인 화자 분리(Diarization) 없이 자연스러운 오버랩과 턴 테이킹 패턴을 직접 학습할 수 있습니다.
Fine-tuning Data: 고품질의 대화를 선별한 1,000시간의 데이터를 사용했습니다.

2.4 학습 절차 (Two-stage Training)

1단계 (Pre-training): 재초기화된 텍스트 레이어를 학습시키기 위해 높은 학습률( $3 \times 10^{-5}$ )을 사용하여 26,000시간 데이터로 학습합니다.
2단계 (Fine-tuning): 선별된 1,000시간 데이터로 미세 조정을 수행하며, 텍스트와 오디오 트랜스포머에 서로 다른 학습률을 적용하여 최적화합니다.

3. 주요 기여 (Key Contributions)

최초의 인도 언어 풀-듀플렉스 시스템: 힌디어를 지원하는 최초의 개방형 및 재현 가능한 풀-듀플렉스 음성 대화 프레임워크를 제시했습니다.
대규모 스테레오 코퍼스: 인도 언어 중 최대 규모인 26,000시간의 스테레오 대화 데이터셋을 구축하여 데이터 부족 문제를 해결했습니다.
효율적인 언어 적응 전략: 오디오 코덱(Mimi)을 동결하고 텍스트 토크나이저를 교체하는 전략을 통해, 적은 자원으로도 효과적인 언어 전이를 달实现했습니다.

4. 결과 및 평가 (Results)

4.1 음성 품질 및 언어 모델링

Codec Quality: STOI 점수 0.878로 힌디어 음성의 명료성을 확보했습니다.
Perplexity (PPL): 생성된 음성을 텍스트로 변환하여 평가했을 때, 낮은 온도( $\tau=0.8$ )에서 가장 낮은 PPL을 기록하며 언어적 일관성을 보였습니다.

4.2 인간 평가 (Human Evaluation)

자연스러움(Naturalness): 인간(4.55) 대비 모델(4.10)이 매우 근접한 점수를 기록했습니다.
대화 품질: 130명의 원어민 평가 결과, 모델 생성 음성이 인간과 대등하다는 응답이 66.9%에 달했습니다. 다만, 문맥 유지(53%)와 완전한 응답 생성(42%) 측면에서는 개선의 여지가 확인되었습니다.

4.3 턴 테이킹 분석 (Turn-taking)

온도 설정 $\tau=0.9$ 일 때, 대화의 간격(Gap)과 휴지(Pause) 패턴이 실제 인간의 데이터와 가장 유사하게 나타났습니다. 이는 모델이 단순한 음성 생성을 넘어 인간의 대화 역학(Dynamics)을 학습했음을 입증합니다.

5. 의의 (Significance)

본 연구는 **"고품질의 도메인 맞춤형 대화 데이터가 새로운 언어의 풀-듀플렉스 시스템 구축의 핵심 동력"**임을 증명했습니다. 특히 Moshi가 700만 시간의 데이터를 사용한 것과 대조적으로, Human-1은 26,000시간의 고품질 데이터를 통해 성공적인 적응을 보여줌으로써, 향후 다양한 인도 언어권의 차세대 실시간 음성 대화 시스템 구축을 위한 이정표를 제시했습니다.