The NTNU System at the S&I Challenge 2025 SLA Open Track

기술 요약: S&I Challenge 2025의 NTNU 시스템

문제 정의
제2외국어(L2) 학습자를 위한 구어 평가(Spoken Language Assessment, SLA)는 음향적 전달력과 언어적 내용 모델링 사이의 근본적인 트레이드오프에 직면해 있다. ASR(자동 음성 인식) 전사본에 기반한 BERT 활용과 같은 전통적인 텍스트 기반 접근 방식은 의미적 내용을 효과적으로 포착하지만, 오류가 잦은 전사본에 의존하기 때문에 중요한 운율 및 음성적 단서를 모델링하는 데 실패한다. 반대로, wav2vec 2.0(W2V)과 같은 음향 자기지도 학습 모델은 가공되지 않은 오디오를 처리하여 발음과 유창성을 포착하는 데 탁월하지만, 높은 수준의 언어 평가에 필요한 의미적 해석력을 결여하는 경우가 많다. 멀티모달 대규모 언어 모델(MLLM)은 이러한 모달리티의 통합을 위한 잠재적 방안을 제시하지만, 총체적인 SLA 점수 산출에 대한 적용 연구는 아직 미진한 상태이다. 과제는 Speak & Improve (S&I) Challenge 2025에서 제시된 제한된 데이터와 계산 자원 제약 하에서 음향 및 의미적 특징을 견고하게 통합하는 시스템을 개발하는 것이다.

방법론
저자들은 두 가지 별도의 평가 구성 요소를 점수 융합 전략을 통해 통합하는 듀얼 그래더(dual-grader) 시스템인 NTNU SMIL V를 제안한다:

1. 음향 그래더 (W2V): 이 구성 요소는 사전 학습된 wav2vec 2.0 인코더를 사용하여 가공되지 않은 음성 파형으로부터 프레임 수준의 음향 표현을 추출한다. 어텐션 풀링(attention pooling)을 사용하여 문장 단위 벡터를 생성하며, 이는 프로토타입 임베딩 모듈을 통해 처리된다. 이 모듈은 CEFR 레벨(A2 ~ C1+)을 나타내는 학습 가능한 프로토타입과 코사인 유사도를 계산하고, 그 결과를 다층 퍼셉트론(MLP)에 전달하여 연속적인 숙련도 점수를 예측한다.
2. 멀티모달 그래더 (MLLM): 두 번째 구성 요소는 38억 개의 파라미터를 가진 디코더 전용 트랜스포머인 Phi-4-multimodal 아키텍처를 기반으로 구축된다. 이 모델은 전용 오디오 어댑터와 함께 LoRA(Low-Rank Adaptation)를 사용하여 ASR 전사본, 과제 설명, 질문 프롬프트와 함께 원시 오디오 신호를 처리하도록 미세 조정되었다.
   • 저자들은 두 가지 구성을 조사하였다: 모든 과제 부분의 결합된 데이터로 학습된 **교차 과제 일반화 멀티모달 그래더(Phi4-CTG)**와, 각 특정 평가 부분(인터뷰, 의견, 발표, 커뮤니케이션 활동)에 대해 별도로 미세 조정된 **과제 특화형 그래더(Phi4-STG)**이다.
   • Phi4-STG 방식은 ASR 오류 전파를 완화하기 위해 원시 오디오 파형을 직접 처리하는 것을 우선시하며, 음성의 뉘앙스(발음, 유창성, 운율)와 언어적 내용을 공동으로 추론하는 모델의 능력을 활용한다.
3. 점수 융합: 최종 시스템은 W2V 그래더와 Phi4-STG 그래더의 예측치를 결합한다. MLLM의 연속 점수는 먼저 8개의 CEFR 정렬 구간으로 이산화된다. 각 구간에 대해, 참조 점수에 대한 평균 제곱근 오차(RMSE)를 최소화하기 위해 개발 세트(development set)에서의 그리드 서치(grid search)를 통해 최적의 보간 가중치($w_k$)가 결정된다. 융합된 점수는 $\hat{y} = (1 - w_k)\hat{y}_{w2v} + w_k\hat{y}_{mllm}$로 계산된다.

주요 기여

• 모달리티의 통합: 본 논문은 자기지도 학습 음성 인코더(W2V)와 멀티모달 대규모 언어 모델(Phi-4)의 성공적인 융합을 입증하며, 미세한 음향 모델링과 심층적인 맥락 추론을 효과적으로 결합한다.
• 과제 특화형 MLLM 적응: 본 연구는 과제 특화형 미세 조정(Phi4-STG)이 일반화된 교차 과제 모델(Phi4-CTG)보다 SLA 맥락에서 더 우수한 성능을 보임을 강조하며, 이는 서로 다른 평가 부분이 전문화된 모델링의 이점을 얻음을 시사한다.
• ASR 오류에 대한 강건성: MLLM 파이프라인에 원시 오디오 처리를 직접 포함함으로써, 시스템은 잠재적으로 결함이 있는 ASR 전사본에 대한 의존도를 줄여 텍스트 전용 베이스라인의 주요 한계점을 해결한다.
• 점수 수준 융합 전략: 예측된 점수 구간에 따라 가중치가 동적으로 조정되는 점수 조건부 융합 메커니즘을 구현함으로써, 두 가지 상호 보완적인 그래더의 최적화된 통합을 가능하게 한다.

결과
제안된 시스템인 NTNU SMIL V는 Speak & Improve Challenge 2025의 공식 테스트 세트에서 **0.375의 평균 제곱근 오차(RMSE)**를 달성하였다.

• 순위: 이 성과로 대회에서 2위를 차지하였다.
• 비교: 본 시스템은 공식 베이스라인(RMSE 0.444)과 3위 시스템(RMSE 0.384)을 능가하였다. 1위 시스템(RMSE 0.364)에는 근소한 차이로 뒤처졌다.
• 구성 요소 분석:
  • 단독 W2V 모델은 0.394의 RMSE를 기록하였다.
  • 단독 Phi4-STG 모델은 0.389의 RMSE를 기록하였다.
  • 융합된 시스템(W2V + Phi4-STG)은 0.375라는 최상의 결과를 달eric하였으며, 이는 음향 및 의미 모델링의 결합이 개별 구성 요소 각각보다 우수한 성능을 낸다는 것을 입증한다.
  • W2V와 일반화된 Phi4-CTG의 융합은 0.377의 RMSE를 기록하여, 과제 특화형 변형보다 약간 낮은 수치를 보였으며, 이는 과제 특화 적응의 가치를 재확인시켜 준다.

의의 및 주장
저자들은 본 연구가 자기지도 학습 음성 인코더와 MLLM을 결합하는 것의 효과를 검증한다고 주장한다. 결과는 음향적 특징이 전달 특성을 포착하는 데 기초가 되지만, 과제 특화형 MLLM의 의미적 추론 능력이 전체적인 점수 산출 정확도를 크게 향상시킨다는 것을 시사한다. 본 논문은 MLLM이 이전의 패러다임을 통합하는 유망한 방향을 제시하지만, 그 잠재력을 완전히 실현하기 위해서는 과제 특화 미세 조정 및 직접적인 오디오 처리와 같은 신중한 아키텍처 선택이 필요하다는 점을 조심스럽게 결론짓는다. 본 연구는 향 হলো 융합 전략을 개선하고 다양한 학습자 그룹에 대한 모델 효율성과 형평성 문제를 해결하는 데 집중해야 함을 강조한다.