기술 요약: IWSLT 2026 지시 이행을 위한 FBK의 Long-form SpeechLLM

문제 정의

본 논문은 제약된 환경에서 Speech LLM(SpeechLLMs)을 단문(short-form)에서 장문(long-form) 지시 이행으로 확장하는 과제를 다룹니다. SpeechLLM은 자동 음성 인식(ASR), 음성 번역(ST), 음성 질의응답(SQA), 음성 요약(SSUM)과 같은 작업을 위해 음성 인코더와 LLM 디코더를 성공적으로 통합해 왔으나, 장문 처리에는 상당한 난관이 존재합니다. 여기에는 높은 계산 비용, 긴 음향 토큰 시퀀스, 담화 수준의 문맥 모델링 필요성, 그리고 환각(hallucination) 발생 위험의 증가가 포함됩니다. IWSLT 2025의 이전 연구에서는 장문 트랙의 참가자 부족과 장문 출력 생성의 불안정성을 강조했습니다. 저자들은 단문용 SpeechLLM이 장문 환경으로 얼마나 효과적으로 확장될 수 있는지, 어떤 세그멘테이션(segmentation) 전략이 가장 효과적인지, 그리고 환각이 만연한 상황에서 이러한 시스템을 어떻게 신뢰성 있게 평가할 수 있는지를 결정하고자 합니다.

방법론

모델 아키텍처

시스템은 두 개의 사전 학습된 모델인 SEAMLESSM4T-V2-LARGE(음성 인코더)와 QWEN3-4B-INSTRUCT(LLM 디코더)를 기반으로 구축되었습니다.

• 음성 인코더: 16 kHz 오디오를 80차원 로그-멜 필터뱅크 특징량으로 처리한 후, 이를 50 Hz로 다운샘플링합니다. 장거리 의존성과 국소적 음향 구조를 포착하기 위해 상대적 위치 표현(relative positional representations)과 심층 컨볼루션(depthwise convolutions)을 사용하는 24계층 Conformer 스택을 활용합니다.
• 모달리티 어댑터(Modality Adapter): 상속된 컨볼루션 계층과 게이트 선형 유닛(gated linear unit)을 사용하여 50 Hz 음성 표현을 8배 압축(약 6.25 Hz 생성)한 후, 선형 투영(linear projection)을 통해 1024차원의 음성 특징을 2560차원의 LLM 은닉 공간에 정렬합니다.
• LLM 디코더: Qwen3-4B의 지시 이행 능력을 활용합니다. 음성 표현은 융합 메커니즘을 통해 텍스트 임베딩 앞에 결합됩니다. 모델은 쿼리, 키, 출력 투영 모듈에 대해 매개변수 효율적 미세 조정(LoRA)을 적용하며, 총 4.73B 파라미터 중 약 112.2M 개의 파라미터를 업데이트합니다.

학습 전략

• 단문 트랙(Short Track): CoVoST2, EuroParlST, GigaST, LibriSQA를 포함하는 통합 다국어 데이터셋(총 ~8,436시간)으로 학습되었습니다. 주석의 공백(예: 누락된 번역 또는 QA 쌍)을 채우고 견고성을 위해 답변 불가능한 사례를 도입하기 위해 SEAMLESSM4T 및 Qwen3-4B를 사용한 합성 데이터 증강을 수행했습니다.
• 장문 트랙(Long Track): 기존 데이터셋(Nutshell 및 YTSeg)에 장문 형태의 ASR 및 ST를 위한 신뢰할 수 있는 감독 데이터가 부족하기 때문에, 저자들은 LibriSQA의 챕터 구조를 기반으로 단문 발화를 인위적으로 연결하여 장문 학습 데이터를 구축했습니다. 여기에는 발화 사이에 무음(silence)을 삽서하고 문장 경계를 유지하도록 전사(transcription)를 처리하는 과정이 포함되었습니다. 학습 코퍼스는 총 ~9,496시간입니다.
• 최적화: 가변 길이 입력을 효율적으로 처리하기 위해 동적 버킷 샘플러(dynamic bucket sampler)와 함께 AdamW를 사용하여 학습되었습니다. 장문 트랙의 경우 속도 섭동(speed perturbation)을 비활성화하고 그래디언트 누적(gradient accumulation)을 8로 설정했습니다.

음성 세그멘테이션 전략

장문 추론을 처리하기 위해 세 가지 세그멘테이션 접근 방식을 탐구했습니다:

1. 고정 윈도우(Fixed-Window): 중첩되지 않는 15, 30, 45, 또는 60초 단위의 세그먼트.
2. CRDNN 기반: 음성 시작/종료 감지를 제어하기 위해 다양한 임계값을 사용하는 SpeechBrain CRDNN 모델을 이용한 음성 활동 감지(VAD).
3. 하이브리드(Hybrid): 일시 정지 기반 세그멘테션과 지속 시간 제약을 결합하여, 최대 지속 시간을 초ert하는 세그먼트를 가장 긴 일시 정지 지점에서 재귀적으로 분할하는 분할 정복(divide-and-conquer) 알고리즘을 활용합니다.

주요 기여

1. 실질적인 솔루션: 특정 사전 학습된 아키텍처를 활용하여 제약된 환경에서 단문 및 장문 지시 이행을 위한 효과적인 SpeechLLM 솔루션을 제시합니다.
2. 경험적 세그멘테이션 분석: 장문 추론을 위한 세 가지 뚜렷한 음성 세그멘테이션 전략(고정 윈도우, CRDNN 기반, 하이브리드)에 대한 비교 평가를 제공합니다.
3. 환각 인지 평가: 불안정한 장문 생성을 고려하기 위해 **환각 페널티 지시 이행 점수(HIFS)**를 도입합니다. 연구는 환각이 주로 반복적인 삽입(repetitive insertions) 형태로 나타나며, 이것이 ASR 및 SSUM 지표를 심각하게 저하시킨다는 점을 상세히 설명합니다.
4. 능력 유지 분석: 적절한 학습 데이터가 구축된다면 장문 설정으로 확장하더라도 단문 능력이 대부분 유지됨을 입증합니다.

결과

단문 성능

주요 단문 시스템은 MCIF 벤치마크에서 단문 지시 이행 점수(SIFS) 2.0708을 달성했습니다. 이는 다음으로 구성됩니다:

• ASR 정확도: 0.8877
• 평균 ST COMET 점수: 0.7550
• 평균 SQA BERTScore: 0.4281

장문 성능

장문 시스템 평가 결과, 세그멘테이션 전략이 성능에 큰 영향을 미치는 것으로 나타났습니다:

• 고정 30초 세그멘테이션: 가장 높은 HIFS 점수인 2.0663을 기록하며, ASR, ST, SQA, SSUM 전반에서 가장 견고한 성능을 보여주었습니다. 이는 문맥 보존과 불안정한 생성 방지 사이에서 최적의 균형을 제공했습니다.
• CRDNN 세그멘테이션: 최적의 구성(0.5, 0.25, 0.5)에서 1.9454의 HIFS를 기록했습니다. 이 방법은 매개변수 설정에 매우 민감했습니다. 임계값을 완화하면 SQA와 SSUM은 개선되었으나 ST 성능은 저하되었습니다.
• 하이브리드 세그멘테이션: 최적의 하이브리드 구성은 2.0139의 HIFS를 달성하여 CRDNN보다는 우수했으나, 고정 30초 윈도우에는 미치지 못했습니다.

환각 분석

환각은 주로 반복적인 삽입 형태로 나타나는 것으로 확인되었습니다.

• CRDNN 전략에서 환각된 출력을 포함할 경우, 삽입 오류(271개에서 13,969개로 급증)의 증가로 인해 ASR 단어 오류율(WER)이 0.1579에서 1.0158로 상승했습니다.
• SQA는 ASR 및 SSUM에 비해 환각의 영향을 덜 받았습니다.
• 본 연구에서는 평가 전 장문 출력의 신뢰성을 높이기 위해 정규 표현식을 사용한 포스트 에디팅(post-editing) 전략을 적용하여 반복적인 삽입을 제거했습니다.

의의 및 주장

본 논문은 고정 30초 세그멘테이션이 적응형 세그멘테이션 방식보다 더 견고한 전략임을 주장하며, 이는 정밀한 튜닝이 필요한 적응형 방식보다 우수한 성능을 보였습니다. 또한 단문 능력이 장문 확장 시에도 대부분 유지되지만, 주요 과제는 여전히 생성 중심 작업인 ASR 및 SSUM에 불균형적인 영향을 미치는 환각을 완화하는 것임을 강조합니다.

저자들은 자신들의 시스템이 경쟁력 있는 결과를 달성했음에도 불구하고 한계점이 존재함을 겸허히 밝힙니다. 여기에는 시간 제약으로 인한 단일 학습 에포크(epoch) 완료, 장문 학습을 위해 단문 데이터의 일부를 사용함에 따른 단문 성능 저하 가능성, 그리고 미묘한 의미적 불일치를 놓칠 수 있는 표면 수준의 정규 표현식에 의존한 환각 완화 방식 등이 포함됩니다. 이 연구는 단문용 SpeechLLM을 장문 문맥으로 확장하는 것의 어려움을 강조하며, 더 나은 세그멘테이션과 환각 완화가 중요한 미래 연구 방향임을 식별합니다.