Robust Multi-Tier Infant-Centered Audio Understanding with Whisper via Structured Speaker Conditioning

당신이 수많은 사람이 동시에 대화하고, 웃고, 울어대는 혼란스럽고 시끄러운 파티를 이해하려고 노력하고 있다고 상상해 보세요. 이제 그 파티가 아기가 있는 가정이라고 상상해 보세요. 당신의 임무는 초 단위로 누가 어떤 소리를 내고 있는지, 그리고 그것이 어떤 종류의 소리인지를 정확하게 기록하는 것입니다. 이것이 바로 **영유아 중심 오디오 이해(infant-centered audio understanding)**의 세계입니다. 이는 기계가 스튜디오의 깨끗한 녹음물이 아니라 실제 세상의 소리를 듣도록 노력하는 컴퓨터 과학의 한 분야입니다.

이를 위해 과학자들은 두 가지 주요 기술을 사용합니다. 첫째, **자기 지도 학습(self-supervised learning)**을 사용하는데, 이는 로봇에게 특정 과제를 보여주기 전에 수천 시간의 무작위 소음과 음악을 들려주어 소리의 작동 방식을 감각적으로 익히게 하는 것과 같습니다. 둘째, **화자 컨디셔닝(speaker conditioning)**을 사용하는데, 이는 로봇에게 특정 인물을 위한 특별한 "귀"를 부여하여 배경의 잡담을 무시하고 추적해야 할 목소리에 집중할 수 있도록 돕는 것과 같습니다. 이것이 왜 중요할까요? 아기와 그 가족들이 어떻게 상호작용하는지 이해하는 것은 의사와 연구자들이 발달 과정을 배우는 데 도움을 줄 수 있지만, 실제 녹음은 매우 지저분하고, 목소리가 겹치며, 집마다 매우 다양하기 때문입니다.

가족의 소리를 듣는 기계

이 논문은 온종일 이어지는 가족의 삶을 듣고서 정확히 무슨 일이 일어나고 있는지 분류할 수 있는 새로운롭고 영리한 방식의 기계를 만드는 방법을 소개합니다. 연구진은 특정한 골칫거리를 해결하고자 했습니다. 아기가 울고 있을 때 엄마는 노래를 부르고 아빠는 말을 하고 있다면, 대부분의 컴퓨터는 혼란에 빠집니다. 그들은 아기를 놓치거나, 목소리를 섞어서 인식하거나, 혹은 녹음 상태가 집마다 달라 발생하는 문제에 걸려 넘어집니다.

연구팀은 "다층(multi-tier)" 오디오 태거를 구축했습니다. 이것은 마치 같은 사건 파일을 다루는 네 명의 전문 형사 팀과 같습니다. 각 형사는 특정한 임무를 가지고 있습니다:

1. 아이 형사: 옹알이, 울음, 또는 보챔을 듣습니다.
2. 엄마 형사: 성인 대상 발화, 아기 말투, 노래, 또는 웃음소리를 듣습니다.
3. 아빠 형사: 성인 대상 발화 또는 아기 말투를 듣습니다.
4. 형제/자매 형사: 형제/자매의 발성을 듣습니다.

단 하나의 "승자"만을 모든 초마다 선택하려 했던 기존 시스템과 달리, 이 시스템은 네 명의 형사가 동시에 활동할 수 있도록 허용합니다. 만약 아기가 울고 있는 동안 아빠가 말을 하고 있다면, 시스템은 두 사건을 동시에 표시합니다.

마법이 작동하는 방식

이 기계의 두뇌는 이미 음성을 이해하는 데 매우 뛰어난 Whisper라는 유명한 AI 모델입니다. 하지만 Whisper는 주로 깨끗한 성인의 목소리에 맞춰 훈련되었습니다. 이를 아기와 시끄러운 가정 환경에 맞게 만들기 위해, 연구진은 LoRA 업그레이드를 제공했습니다. LoRA를 로봇이 쓰는 가볍고 맞춤화된 안경이라고 상상해 보세요. 이 안경은 로봇의 뇌 전체를 바꾸지는 않지만, 전체를 처음부터 다시 훈련할 필요 없이 아기 소리와 가정 내 소음의 독특한 패턴을 파악할 수 있도록 몇몇 특정 부분만을 미세하게 조정합니다.

하지만 진짜 비결은 "가족" 문제를 처리하는 방식에 있습니다. 모든 가족은 서로 다릅니다. 어떤 집은 울림이 있고, 어떤 집은 조용하며, 부모의 목소리도 제각각입니다. 만약 로봇이 '가족 A'의 '엄마' 목소리를 암기해 버린다면, '가족 B'를 만났을 때 실패할 수 있습니다.

이를 해결하기 위해 연구진은 **요인 분해 화자 토큰 설계(factorized speaker-token design)**를 발명했습니다. 로보가 각 역할(아이, 엄마, 아빠, 형제/자매)에 대한 일반적인 개념을 담은 "마스터 카드(Master Card)"를 가지고 있다고 상상해 보세요. 하지만 동시에 각 가구별로 고유한 "가족 바우처(Family Voucher)"도 가지고 있습니다.

• **마스터 카드(Tier Token)**는 "이것이 일반적으로 아기의 소리다"라고 말합니다.
• **가족 바우처(Speaker Offset)**는 "하지만 이 집에서는 카펫 때문에 아기의 목소리가 약간 더 높다"라고 말합니다.

훈련 과정에서 로봇은 마스터 카드와 바우처를 모두 학습합니다. 하지만 로봇이 한 번도 본 적 없는 새로운 집에 갔을 때는, 바우처를 버리고 마스터 카드에만 의존합니다. 이는 로봇이 아기나 부모의 보편적인 특징을 학습하도록 강제하며, 이를 통해 낯선 집에서도 무엇이 일어나고 있는지 훨씬 더 잘 예측할 수 있게 만듭니다.

매끄러움의 기술

연구팀이 해결한 또 다른 문제는 "지터(jitter)"였습니다. 때때로 컴퓨터는 불안해져서 매 밀리초마다 답을 왔다 갔다 합니다. 예를 들어, 아기가 계속 울고 있음에도 불구하고 한 순간에는 "울음", 다음 순간에는 "옹알이", 다시 "울음"이라고 말하는 식입니다. 이를 막기 위해 연구진은 **시간적 평활 손실(temporal smoothing loss)**을 추가했습니다. 이것은 로봇의 어깨에 얹은 부드러운 손길과 같습니다. 로봇에게 "이봐, 방금 울음이라고 했으면, 아마 1초 뒤에도 여전히 울고 있을 거야. 너무 빨리 마음을 바꾸지 마"라고 말해주는 것입니다. 이는 로봇이 지저분한 파편이 아닌, 하루의 일과를 일관되고 논리적인 이야기로 만들어내도록 돕습니다.

연구 결과

연구팀은 약 52가구의 17시간 분량 오디오로 시스템을 테스트했습니다. 그들은 가족들을 훈련, 검증, 최종 테스트를 위한 세 그룹으로 나누었습니다. 결정적으로, 테스트 그룹의 가족들은 로봇이 전혀 들어본 적 없는 완전히 새로운 가족들이었습니다.

결과는 유망했습니다. 새로운 시스템은 모든 역할에 대해 **Macro-F1 74.88%**와 **Cohen's kappa 68.14%**를 기록했습니다. 이는 이 시스템이 다른 AI 모델(예: Wav2Vec)을 사용하거나 특별한 "가족 바우처" 기술 없이 Whisper를 적응시키려 했던 이전 방법들보다 소리를 식별하고 타임라인을 일관되게 유지하는 데 더 뛰어났음을 의미합니다.

실험 결과는 다음과 같습니다:

• LoRA는 필수적이었습니다: 이 가벼운 안경이 없었다면 로봇의 성능은 크게 떨어졌을 것입니다.
• 가족 바우처는 도움이 되었습니다: 가족 특유의 조정을 제거했을 때, 로봇은 서로 다른 가구를 처리하는 능력이 떨어졌으며, 특히 부모 역할에서 그러했습니다.
• 평활화(Smoothing)는 도움이 되었습니다: "부드러운 손길"을 제거하자 로봇의 예측이 요동쳤으며, 특히 아기와 아빠 역할에서 그러했습니다.

또한 연구진은 로봇이 듣는 동안 새로운 가족에 대해 조금씩 학습하도록 하는 "테스트 타임 적응(test-time adaptation)" 기술을 시도했습니다. 이 방법은 약간의 향상을 가져왔지만, 그 개선 폭은 미미했습니다. 이는 로봇을 실시간으로 가르치는 것이 가능하긴 하지만 아직 마법 같은 해결책은 아니며, 최선의 결과는 여전히 추가적인 도움 없이도 새로운 가족을 견딜 수 있을 만큼 이미 강력한 모델로부터 나온다는 것을 시사합니다.

결론

이 논문은 강력하게 사전 훈련된 청각 두뇌와 "일반적인 규칙"을 "가족만의 특징"으로부터 분리하는 영리한 방식을 결 조합함으로써, 우리는 실제 가족 생활의 복잡하고 겹쳐진 소리들을 이해하는 기계를 만들 수 있다는 것을 보여줍니다. 이것이 모든 문제를 해결하는 것은 아닙니다—아기는 여전히 까다롭고, 새로운 집은 여전히 예측 불가능합니다—하지만 이는 연구자들이 아이들이 어떻게 성장하고 상호작용하는지 연구하는 데 있어 오디오 분석을 더 신뢰할 수 있게 만드는 명확한 경로를 제시합니다.