← 최신 논문
⚡ electrical engineering

Multilingual Long-Form Speech Instruction Following: KIT's Submission to IWSLT 2026

KIT의 IWSLT 2026 지시 이행 트랙 제출물은 100만 개 이상의 학습 인스턴스를 생성하기 위해 데이터 증강 파이프라인을 활용하고, 장문 추론 시 발생하는 의미론적 저하를 극복하기 위해 가능도 기반 재순위화와 최소 베이즈 위험을 결합한 하이브리드 디코딩 전략을 채택한 다국어 장문 음성 지시 시스템을 제시한다.

원저자: Enes Yavuz Ugan, Maike Züfle, Yuka Ko, Supriti Sinhamahapatra, Fabian Retkowski, Seymanur Akti, Jan Niehues, Alexander Waibel

게시일 2026-06-04
📖 5 분 읽기🧠 심층 분석
CC BY 4.0

원저자: Enes Yavuz Ugan, Maike Züfle, Yuka Ko, Supriti Sinhamahapatra, Fabian Retkowski, Seymanur Akti, Jan Niehues, Alexander Waibel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: AI에게 긴 이야기를 듣는 법 가르치기

당신에게 짧은 문장, 예를 들어 "날씨 어때?"나 "이 단어 번역해줘" 같은 것은 아주 잘 이해하는 똑똑한 비서가 있다고 상상해 보세요. 하지만 만약 당신이 15분짜리 강연이나 긴 팟캐스트를 들려준다면, 이 비서는 혼란에 빠지거나, 앞부분을 까먹거나, 혹은 엉뚱한 말을 지어내기(환각 현상) 시작할 것입니다.

KIT(카를스루에 공과대학교)의 연구진들은 이 문제를 해결하고자 했습니다. 그들은 영어, 독일어, 이탈리아어, 중국어 4개 국어로 된 긴 형식의 음성(최대 15분)을 바탕으로 지시 사항을 수행할 수 있는 AI를 구축하는 것이 목표인 IWSMT 2026이라는 대회에 참가했습니다. 또한, 사전에 알 수 없는 "서프라이즈 태스크(깜짝 과제)"도 처리해야 했습니다.

그들이 이 문제를 어떻게 해결했는지 네 가지 주요 부분으로 나누어 설명합니다.

1. 데이터 문제: 짧은 조각을 마라톤으로 바꾸기

도전 과제: 대부분의 AI 학습 데이터는 15초짜리 짧은 음성 메모 모음과 같습니다. 하지만 이번 대회는 AI가 15분 길이의 오디오 파일을 처리할 수 있어야 했습니다. 이는 마치 100미터 단거리 달리기만 연습해서 마라톤 선수를 키우려는 것과 같습니다.

해결책: 그들은 짧은 클립을 긴 이야기로 늘리는 "데이터 공장"을 구축했습니다.

  • 접착제 방법 (The Glue Method): 수천 개의 짧은 오디오 클립을 가져와 끝과 끝을 서로 이어 붙여 긴 세그먼트를 만들었습니다.
  • 번역기 (The Translator): 대부분의 데이터가 영어뿐이었기에, 매우 똑똑한 AI 번역기를 사용하여 독일어, 이탈리아어, 중국어 버전을 만들었습니다.
  • 라벨 생성기 (The Label Maker): 새로운 긴 클립들에 대해 지시 사항과 답변을 작성하도록 AI를 사용했으며, 결과적으로 100만 개 이상의 새로운 학습 예시를 만들어냈습니다.

결과: 그들은 짧은 음성 메모 도서관을 방대한 양의 긴 강연과 대화 도서관으로 탈바꿈시켜 학습 준비를 마쳤습니다.

2. 학습 전략: 식단 조절하기

도전 과제: AI는 다음 6가지의 서로 다른 과제를 배워야 했습니다:

  1. ASR: 음성을 텍텍스트로 전사(받아쓰기).
  2. ST: 음성을 다른 언어의 텍스트로 번역.
  3. SQA: 들은 내용에 대한 질문에 답하기.
  4. SSUM: 오디오 요약하기.
  5. ACHAP: 오디오를 챕터와 제목으로 나누기.
  6. Surprise: 알려지지 않은 작업 수행하기.

이 중 일부 작업은 다른 작업보다 훨씬 더 많은 데이터를 가지고 있었습니다(마치 브로콜리는 넘쳐나는데 당근은 턱없이 부족한 식단과 같습니다). 만약 데이터를 무작정 섞어서 먹인다면, AI는 흔한 작업에는 능숙해지겠지만 희귀한 작업은 잊어버리게 될 것입니다.

해결책: 그들은 데이터를 섞는 두 가지 방법을 시도했습니다:

  • 고정 계획 (Fixed Plan): ASR 10%, Q&A 30% 등과 같이 AI에게 줄 데이터의 비율을 수동으로 결정하는 방식입니다.
  • 온도 스케일링 (Temperature Scaling - "제곱근" 트릭): 수학적 공식(온도 = 2)을 사용하여 자연스럽게 식단을 조절하는 방식입니다. 이는 마치 모든 재료를 조금씩 골고루 주되, 가장 흔한 재료가 희귀한 재료를 압도하지 않도록 조절하는 똑똑한 요리사와 같습니다.

발견: "제곱근" 방식이 가장 효과적이었습니다. 이 방식은 AI가 혼란에 빠지지 않고 모든 작업을 균등하게 배울 수 있도록 도왔습니다.

3. "비밀 코드"의 실패 (Chain-of-Thought)

도전 과제: 팀은 "Chain-of-Thought(사고의 사슬)"라는 유명한 기법을 시도했습니다. 이는 AI에게 "답변하기 전에, 먼저 이것이 어떤 작업인지부터 생각하라"고 말하는 것과 같습니다. 그들은 AI에게 "이것은 번역 작업이다" 또는 "이것은 요약 작업이다"라고 말해주는 특수 "토큰(비밀 코드)"을 부여했습니다.

실패: 결과는 역효과였습니다. AI가 게을러진 것입니다. "요약(Summarization)" 작업이 "전사(Transcription)"와 비슷하면서도 약간 더 흔했기 때문에, AI는 거의 모든 상황에서 "요약"이라고 추측하기 시작했습니다. 즉, 지시 사항을 제대로 듣지 않고 가장 편한 길을 선택해 버린 것입니다.

교훈: 작업들이 서로 너무 유사하다면, 단순히 접두사(prefix)를 붙여서 "무엇을 해야 하는지" 알려주는 것만으로는 부족합니다. AI는 단순한 라벨이 아니라 실제 연습을 통해 그 차이를 배워야 합니다.

4. 마지막 다듬기: "재순위화(Re-Ranking)" 필터

도전 과제: AI가 답변을 생성할 때, 종종 17개의 서로 다른 버전을 만들어냅니다. 어떤 것은 완벽하지만, 어떤 것은 횡설수설합니다. 팀은 어떤 작업을 하고 있는지 모르는 상태에서도(서프라이즈 태스크 때문) 가장 좋은 것을 골라낼 방법이 필요했습니다.

표준 방식의 실패:

  • Likelihood (확률 기반 - "자신감" 체크): AI가 스스로 가장 자신 있어 하는 답변을 고르는 방식입니다. 이는 전사(ASR)에는 매우 좋았지만, 요약(Summarization)에는 최악이었습니다. AI는 수학적으로는 점수가 높지만 의미는 깨져 있는, 툭툭 끊긴 답변들을 계속 골라냈습니다.
  • MBR (합의 기반 - "일치도" 체크): 이 방식은 다른 모든 답변과 가장 유사한 답변을 고르는 방식입니다. 이는 안전하고 의미 전달에는 좋았지만, 최고의 전사(Transcription) 후보들을 놓치는 문제가 있었습니다.

승리 전략 (Likelihood + MBR):
그들은 이 두 가지를 결합했습니다. 이를 채용 위원회에 비유해 보겠습니다:

  • Likelihood는 빠르고 명확하게 말하는 "자신감 넘치는 후보자"입니다.
  • MBR은 일관성이 있는 "안전한 후보자"입니다.
  • 결합: "자신감 넘치는 후보자"가 승리하게 하되, "안전한 후보자"가 강력하게 반대할 경우에만 제동을 거는 방식입니다. 이를 통해 AI가 요약 작업에서 내용을 툭툭 끊어놓은 답변을 고르는 것을 막으면서도, 여훌륭한 전사 결과를 유지할 수 있었습니다.

최종 결과

팀은 두 가지 시스템을 제출했습니다:

  1. 주 시스템 (End-to-End): AI가 오디오를 직접 듣고 바로 답변을 내놓습니다. 이 시스템은 의미를 이해하는 능력(질문 답변, 요약)에 뛰어났습니다.
  2. 대조 시스템 (Cascaded): AI가 먼저 들리는 내용을 정확히 글로 적은(전사) 후, 그 텍스트를 읽고 답변을 내놓습니다. 이 방식은 단어를 정확하게 맞추는 것(전사)과 번역에는 환상적이었지만, 깊은 이해력은 약간 떨어졌습니다.

놀라운 사실: "서프라이즈 태스크(품질 평가)"가 등장했을 때, 텍스트를 먼저 쓰는 방식(Cascaded)이 경쟁자들을 압도한 반면, 직접 듣는 방식(Direct)은 완전히 실패했습니다. 이는 복잡한 문제를 한 번에 처리하려 하기보다, 단계를 나누는 것(듣기 →\rightarrow 쓰기 →\rightarrow 생각하기)이 더 나을 수 있음을 보여주었습니다.

요약

이 논문은 AI가 긴 연설을 듣게 만들기 위해 다음이 필요함을 보여줍니다:

  1. 짧은 데이터를 길게 늘릴 것.
  2. "제곱근" 수학 트래킹을 사용하여 학습 식단의 균형을 맞출 것.
  3. AI를 게으르게 만드는 단순한 "작업 라벨"을 피할 것.
  4. 자신감과 일관성을 결합하여 최선의 답변을 고를 것.

그들은 긴 다국어 오디오를 처리하는 시스템을 성공적으로 구축했으며, 적절한 데이터와 스마트한 "투표" 시스템이 있다면 AI가 첫 문장뿐만 아니라 전체 이야기를 들을 수 있다는 것을 증명했습니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →

유사한 논문

이 카테고리 전체 보기 ⚡ eess →