💻 computer science

Interactive In-Meeting Speaker Correction with Human Feedback

본 논문은 처리 및 피드백 불확실성을 처리하도록 설계된 메커니즘을 통해 실시간으로 화자 귀속 오류를 수정하기 위해 인간 피드백을 통합하는 LLM 지원 회의 중 시스템을 제안하며, 이를 통해 AMI 데이터셋에서 디아리제이션 오류율을 크게 감소시켰습니다.

원저자: Xinlu He, Yiwen Guan, Badrivishal Paurana, Pitipat Kongsomjit, Zilin Dai, Jacob Whitehill

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinlu He, Yiwen Guan, Badrivishal Paurana, Pitipat Kongsomjit, Zilin Dai, Jacob Whitehill

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

네 명의 동료가 있는 바쁜 회의실에 앉아 있다고 상상해 보세요. 똑똑한 비서가 회의 내용을 듣고 누가 무엇을 말했는지 정확히 기록하려고 노력하고 있습니다. 하지만 피곤한 인간 기록원처럼 비서도 혼란에 빠질 수 있습니다. 실제로는 사라가 한 말인데 로사가 한 것으로 오인하거나, 서로 다른 두 문장을 섞어 잘못된 사람에게 할당할 수도 있습니다.

보통 이런 오류를 수정하는 것은 악몽과 같습니다. 회의를 중단하고 방대한 텍스트 더미를 스크롤하여 실수가 발생한 정확한 순간을 찾아 수동으로 드래그 앤 드롭하여 수정해야 합니다. 이는 지루하고 산만하며, 대화를 나누려는 동안 아무도 이런 작업을 하고 싶어 하지 않습니다.

이 논문은 이를 처리하는 새로운 방식을 제안합니다: "헤이 코비 (Hey Cobi)" 수정법입니다.

문제: "오픈 루프" 오류

대부분의 음성 시스템은 "오픈 루프" 모드로 작동합니다. 듣기, 추측하기, 기록하기만 할 뿐, 실수를 하면 이를 인지하지 못하거나 도움을 요청하지도 않습니다. 마치 GPS 가 계속 왼쪽으로 돌아 호수로 들어갈 것을 지시하지만, "이봐, 정말 그곳으로 가고 싶니?"라고 묻지 않는 것과 같습니다.

해결책: 똑똑한 대화형 비서

연구진들은 회의 중 유용한 공동 조종사처럼 작동하는 시스템을 구축했습니다. 작동 방식은 다음과 같습니다.

1. "한눈에" 요약 (하이라이트 리플레이)
전체 대본을 읽게 만드는 것 (압도적임) 대신, 시스템은 대규모 언어 모델 (LLM) 을 사용하여 방금 일어난 일을 빠르고 간결하게 요약합니다.

유사성: 30 분짜리 전체 경기 영상을 보여주는 대신, 스포츠 해설자가 마지막 플레이에 대한 10 초 요약만 제공하는 것과 같습니다. 다음과 같이 알려줍니다: "사라가 모델 구축을 제안했지만, 로사는 과적합을 경고했습니다."

2. "헤이 코비" 수정 (자연스러운 교정)
요약을 보고 "잠깐, 그건 틀렸어! 로사가 그런 말을 한 게 아니라 사라가 한 말이야"라고 생각한다면, 타이핑이나 클릭이 필요 없습니다. 자연스럽게 말하기만 하면 됩니다.

행동: **"헤이 코비, 과적합을 언급한 건 사라가 아니라 로사였어."**라고 말합니다.
마법: 시스템은 "코비"를 웨이크 워드로 인식하고 회의 중 다른 소음은 무시한 채 사용자의 교정을 이해합니다.

3. "미세" 수술 (정밀한 교정)
이제 시스템이 영리해지는 부분입니다. 때로는 비서의 녹음이 지저분할 수 있습니다. 세 개의 다른 문장을 하나의 큰 블록으로 묶어 놓은 경우, 단순히 "그건 로사였어"라고 말하면 멍청한 시스템은 그 지저분한 블록 전체를 로사에게 재할당하여 대화의 다른 부분을 망칠 수 있습니다.

혁신: 시스템은 "병합 시 분할 (Split-When-Merged)" 기법을 사용합니다. 이는 외과 의사가 메스로 작동하여, 실제로 누가 말했는지에 따라 그 지저분한 블록을 더 작고 깨끗한 조각으로 잘라냅니다. 그런 다음 사용자의 피드백을 활용하여 틀린 특정 문장만 수정하고 나머지는 그대로 둡니다.

4. "기억 업그레이드" (온라인 등록)
시스템이 실수를 수정한 후 단순히 텍스트를 이동하는 것을 넘어 학습합니다. 로사가 그 특정 단어를 말하는 생생한 오디오 샘플을 가져와 새로운 "음성 지문"으로 저장합니다.

유사성: 새로운 사람을 만나고 "아, 너 재즈를 좋아하는 그 사람이구나!"라고 말하는 것과 같습니다. 다음에 재즈를 들으면 즉시 그 사람을 떠올리게 됩니다. 이제 시스템은 로사의 목소리에 대한 "귀"가 더 좋아져서 미래에 사라와 혼동할 가능성이 줄어듭니다.

결과: 효과가 있을까요?

연구진들은 표준 녹음 회의 세트 (AMI 데이터셋) 에서 이를 테스트했습니다. 실시간으로 실제 인간이 교정을 수행하게 할 수 없었으므로, 사용자의 교정을 시뮬레이션했습니다.

기준선: 표준 시스템은 화자 할당의 약 **36%**를 잘못 수행했습니다.
새로운 시스템: "헤이 코비" 워크플로우를 사용하면 오류율이 **24%**로 감소했습니다.
큰 승리: "누가 무엇을 말했는지"에 대한 특정 오류 (화자 오류) 를 52% 줄였습니다. 이는 시스템이 누가 말하는지 아는 능력이 두 배 좋아졌음을 의미합니다.

함정 (한계점)

이 논문은 그들이 아직 하지 않은 일에 대해 매우 솔직합니다:

시뮬레이션: 교정을 수행하는 사용자를 대신해 AI 를 사용했습니다. 아직 실제 인간이 있는 라이브 룸에서 테스트하지는 않았습니다.
"누가"만 해당: 이 시스템은 누가 말했는지는 수정하지만, 무엇이 말해졌는지는 수정하지 않습니다 (예: 시스템이 "bat"을 "cat"으로 잘못 들은 경우, 이 시스템은 그 단어를 수정하지 않습니다).
미래 예측 불가: 시스템은 실시간 (스트리밍) 으로 작동합니다. 회의를 끝까지 기다렸다가 수정할 수 없으며, 진행되면서 결정하고 수정해야 합니다.

한 마디로 요약

이 논문은 단순히 듣고 추측하는 회의 비서를 제안합니다. 빠른 요약을 제공하고, 간단한 음성 명령으로 자연스럽게 오류를 수정하게 하며, 그 수정을 통해 회의 나머지 부분에서 더 똑똑해지도록 합니다. 이는 좌절스러운 수동 편집 작업을 빠르고 대화식인 교정으로 바꿉니다.

기술 요약: 인간 피드백을 활용한 회의 중 대화자 수정 인터랙티브 시스템

문제 제기

자동 음성 인식 (ASR) 및 화자 분할 시스템은 일반적으로 실시간 사용자 개입 메커니즘이 부재한 '개루프 (open loop)' 모드에서 작동합니다. 최첨단 시스템이 발전했음에도 불구하고 여전히 잡음이 많은 배경, 중첩된 발화, 그리고 긴 꼬리 (long-tail) 어휘 처리에 어려움을 겪습니다. 특히, 누가 무엇을 말했는지에 대한 화자 귀속 오류는 전사본의 신뢰성을 심각하게 훼손할 수 있습니다. 기존 수정 워크플로는 주로 사후적으로 이루어져 회의가 종료된 후 비용이 많이 드는 수동 주석이 필요합니다. 따라서 자연스러운 흐름을 방해하거나 방대한 양의 텍스트를 검토할 필요 없이 대화 중 화자가 귀속 오류를 수정할 수 있는 실용적이고 경량화된 접근법이 필요합니다.

방법론

저자들은 세 가지 실용적 제약 조건 하에서 작동하도록 설계된 LLM 지원 회의 중 인터랙티브 수정 시스템을 제안합니다: (1) 사용자는 전체 전사본에 압도되지 않아야 함; (2) 피드백은 경량화되어야 함 (예: 간단한 구두 수정); (3) 기반 ASR 및 화자 분할은 스트리밍이어야 함 (미래 맥락 없이 즉각적인 결정 내림).

워크플로는 다음 구성 요소로 이루어집니다:

스트리밍 전사 및 세그먼트화: 시스템은 스트리밍 ASR(Google Speech-to-Text) 과 화자 임베딩 모델 (ECAPA-TDNN) 을 사용하여 실시간 오디오를 처리하고 화자가 할당된 전사본을 생성합니다.
병합 시 분할 (Split-When-Merged, SWM) 정제: 스트리밍 ASR 세그먼트가 종종 여러 화자의 발화를 병합하는 문제를 해결하기 위해 시스템은 후처리 단계를 적용합니다. SWM 은 단어 수준의 화자 증거와 슬라이딩 윈도우 투표 전략을 사용하여 세그먼트를 화자 일관성이 있는 더 작은 하위 세그먼트로 재귀적으로 분할합니다. 이는 단위 내 화자 할당의 '순도 (purity)'를 높입니다.
LLM 요약: 전체 전사본을 표시하는 대신, LLM 이 최근 $L$ 개의 발화에 대한 간결한 요약을 생성합니다. 이러한 요약은 각 화자의 주요 기여도를 강조하여 사용자가 전체 로그를 읽지 않고도 귀속 오류를 빠르게 식별할 수 있도록 합니다.
사용자 피드백 및 수정: 사용자는 간단한 수정 피드백을 제공합니다 (예: "Hey Cobi, 오버피팅을 언급한 건 Sara 가 아니라 Rosa 였어").
LLM 수정기 및 복구: LLM 이 피드백을 처리하여 다음 작업을 수행합니다:
- 수정 범위 축소: 전체 세그먼트를 수정하는 대신 재할당이 필요한 세그먼트 내의 특정 텍스트 범위를 식별합니다.
- 화자 재할당: 식별된 범위에 올바른 화자 레이블로 전사본을 업데이트합니다.
- 온라인 등록: 수정된 범위에서 새로운 화자 임베딩을 추출합니다 (예: 5~20 초와 같은 지속 시간 기준을 충족하는 경우) 이를 화자 등록 세트에 추가합니다. 이는 현재 음향 환경에 맞춰 화자의 목소리에 적응함으로써 미래의 화자 할당을 동적으로 개선합니다.

평가 전략

대규모 실시간 사용자 연구를 수행하기 어렵기 때문에, 저자들은 LLM 기반 사용자 피드백 시뮬레이션을 개발했습니다. 이 파이프라인에서는 다음과 같이 진행됩니다:

LLM 이 시스템 생성 요약과 실제 전사본 (ground-truth transcript) 을 비교하여 귀속 오류를 식별합니다.
오류가 발견되면 LLM 은 사용자 (Wake word "Hey Cobi"로 시작) 를 모방하는 자연어 수정 메시지를 생성합니다.
제안된 수정이 합리적인지 확인하는 검증 단계를 거친 후 시스템에 입력됩니다.
이 시뮬레이션은 AMI 학습 세트의 8 개 회의에서 검증되었으며, 78.9% 의 수정 정확도를 달성했습니다.

주요 결과

실험은 AMI 헤드셋 혼합 테스트 세트 (16 개 회의) 에서 수행되었습니다. 제안된 워크플로는 스트리밍 베이스라인 (Google ASR + ECAPA) 과 오라클 '사전 등록 (up-front enrollment)' 전략과 비교되었습니다.

성능 향상: 제안된 전체 워크플로는 수정되지 않은 베이스라인 대비 분할 오류율 (DER) 을 31.99% 줄이고 화자 오류 (SErr) 를 52.68% 줄였습니다.
구성 요소 분석:
- SWM 단독은 DER 를 36.32% 에서 31.60% 로 감소시켰습니다.
- 온라인 등록 단독은 DER 를 26.82% 로 감소시켰습니다.
- 결합 접근법: SWM 과 온라인 등록의 조합이 가장 좋은 결과 (24.70% DER) 를 보여주었으며, 이는 구성 요소들이 상호 보완적임을 입증합니다.
사전 등록과의 비교: 인터랙티브 온라인 등록 전략은 회의 시작 시 화자들이 여러 등록 샘플을 제공하는 전략보다 우수한 성과를 보였습니다. 이는 초기 샘플에만 의존하는 것보다 실제 귀속 오류에 기반하여 오류를 동적으로 수정하는 것이 더 효과적임을 시사하며, 이는 회의 후반부에 접어드는 동안 겪게 되는 음향 조건 (예: 잡음 변화) 을 포착하기 때문일 가능성이 높습니다.
요약 대 전체 전사본: 수정을 위해 LLM 생성 요약을 사용하는 것은 전체 대화를 표시하는 것보다 더 효과적이고 효율적이었으며, 최소한의 사용자 인지 부하를 유지하면서 충분한 맥락을 제공했습니다.

중요성 및 주장

이 논문은 정밀하고 적응적인 피드백이 실시간 환경에서 화자 할당 전사본을 실질적으로 개선할 수 있음을 입증한다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

워크플로 혁신: 사용자 편의성 (경량 피드백) 과 시스템 정확도 (세밀한 업데이트) 사이의 균형을 맞추는 실용적인 회의 중 수정 루프를 제안합니다.
동적 적응: 사용자 수정에 의해 트리거되는 온라인 등록이 도메인 변화를 극복하고 번거로운 초기 설정 없이 미래 분할 정확도를 향상시키는 강력한 메커니즘임을 보여줍니다.
확장 가능한 평가: AMI 와 같은 표준 데이터셋에서 인터랙티브 수정 워크플로의 재현 가능하고 대규모 평가를 가능하게 하는 LLM 기반 시뮬레이션 방법을 도입합니다.

저자들은 한계를 인정하며, 평가가 실제 사용자 피드백이 아닌 시뮬레이션된 피드백에 의존하며 현재 시스템이 어휘적 ASR 오류가 아닌 화자 귀속에 특화되어 있음을 지적합니다. 향후 연구는 이 인터랙티브 프레임워크를 단어 수준 수정 및 경계 오류 처리로 확장할 수 있음을 제안합니다.