기술 요약: 오디오-언어 모델의 준언어적 반응 평가를 위한 카운터팩추얼(Counterfactual) 감사

1. 문제 정의

오디오-언어 모델(ALM)은 음성-대-음성 시스템의 자동 판사로서, 어시스턴트의 응답이 사용자의 입력에 적절한지 평가하는 임무를 맡아 점점 더 많이 배포되고 있습니다. 텍스트 기반 평가는 이미 잘 확립되어 있지만, 구어 상호작용은 사용자의 의도를 명확히 해주는 준언어적 단서(톤, 피치, 리듬, 타이밍)에 크게 의존합니다. 사용자는 동일한 단어를 말하더라도 좌절, 망설임, 혹은 놀람을 담아 표현할 수 있으며, 이에 따라 각기 다른 응답이 필요합니다.

본 연구가 다루는 핵심 문제는 **2차 평가 격차(second-order evaluation gap)**입니다. ALM이 준언어적 적절성을 판단하는 판사로서 신뢰받기 위해서는, 해당 판사가 단순히 어휘적 지름길이나 텍스트 내용, 또는 일반적인 대화 선호도에 의존하는 것이 아니라 실제로 오디오 증거를 활용하고 있는지 검증해야 합니다. 기존의 벤치마크들은 판사가 '왜' 실패하는지를 진단하지 못하며, 인지 오류와 추론 오류를 혼동하는 경-향이 있습니다.

2. 방법론: 카운터팩추얼 감사 및 진단 캐스케이드(Diagnostic Cascade)

저자들은 준언어적 추론을 격리하기 위해 설계된 카운터팩추얼 감사(counterfactual audits) 프레임워크를 도입합니다. 이 방법론은 어휘적 내용(전사 데이터)은 고정시킨 채, 준언어적 실현 방식(정동, 운율, 또는 정동 변화의 타이밍)을 변화시킵니다.

2.1 감사 항목 구성

각 감사 항목은 튜플 $E = (C, A_0, A_1, R_0, R_1)$로 구성됩니다:

• $C$: 공유된 전사 데이터 또는 대화 이력.
• $A_0, A_1$: 서로 다른 준언어적 상태(예: 화남 vs 슬픔)를 가진 동일한 단어의 두 가지 오디오 실현.
• $R_0, R_1$: 각각 $A_0$와 $A_1$에 적절한 후보 응답.

연구에서는 두 가지 태스크 패밀리를 활용합니다:

1. SINGLE-TURN-EMOTIONS: 대화 이력이나 인과적 귀속 없이, 준언어적 응답 선택만을 격리하여 정적 캘리브레이션을 수행합니다.
2. POSITIONAL-EMOTION: 전사는 고정되어 있지만, 정동 변화(예: 사용자가 좌절하는 시점)의 타이밍이 변하는 다회차 대화 태스크입니다. 이는 올바른 응답이 정동 변화를 유발한 특정 턴을 식별하는 데 달려 있으므로, 시간적-인과적 추론을 테스트합니다.

2.2 진단 캐스케이드

저자들은 단순한 총체적 정확도를 넘어, 각 항목에 대해 세 가지 이진 상태를 평가함으로써 평가를 세분화하는 루트 원인 진단 캐스케이드(그림 1 참조)를 제안합니다:

• $P$ (Perception, 인지): 판사가 준언어적 상태를 올바르게 식별하는가? (예: "사용자가 화가 났다")
• $O$ (Oracle Response Mapping, 오라클 응답 매핑): 만약 텍스트로 준언어적 상태가 명시적으로 제공된다면(오디오 인지 부담을 제거한다면), 판사가 해당 상태를 올바른 응답에 매핑할 수 있는가?
• $J$ (Native Judgment, 네이티브 판단): 판사가 표준 배포 설정(Pointwise: 하나의 오디오 컨텍스트와 두 개의 응답)에서 성공하는가?

이 상태들은 진단 튜플 $(P, O, J)$를 형성하며, 이를 통해 실패 유형을 다음과 같이 분류할 수 있습니다(표 1 참조):

• 포템킨 실패 (Potemkin Failure, $1, 1, 0$): 판사가 단서를 인지하고 고립된 상태에서 매핑은 할 수 있으나, 네이티브 오디오 판단 시 이 기술들을 결합하는 데 실패함.
• 인지 병목 (Perception Bottleneck, $0, 1, 0$): 판사가 단서를 듣는 데 실패하지만, 상태가 텍스트로 주어지면 매핑할 수 있음.
• 응답 매핑 병목 (Response-Mapping Bottleneck, $1, 0, 0$): 판사가 단서를 듣기는 하지만, 이를 적절한 응답으로 매핑하지 못함.
• 신뢰할 수 있는 통합 판단 (Reliable Integrated Judgment, $1, 1, 1$): 모든 구성 요소가 성공함.

2.3 평가 프로토콜

• Pointwise (네이티브): 판사는 하나의 오디오 컨텍스트와 두 개의 후보 응답을 받습니다. 이는 실제 배포 환경을 모사합니다.
• Pairwise (대조적 회복 가능성): 판사는 두 가지 오디오 컨텍스트와 두 응답을 모두 받고 이들을 매칭해야 합니다. 이는 대조가 명시적일 때 모델이 카운터팩추얼을 구별해내는 잠재적 능력을 갖추고 있는지 테스트합니다.

3. 주요 결과

저자들은 다양한 독점 모델(Gemini, GPT, Nova)과 오픈 소스 모델(Qwen, Phi, Voxtral, DeSTA)을 평가했습니다.

3.1 대조적 성공 vs. 네이티브 신뢰도

주요 발견 중 하나는 대조적 회복 가능성(contrastive recoverability)이 종종 네이티브 판사의 신뢰도를 과장한다는 점입니다.

• 많은 모델(특히 Gemini 변체들)이 Pairwise 설정에서 높은 정확도를 보입니다 (예: Gemini-3-Pro는 Hard Cues가 포함된 Single-Turn Pairwise에서 91.0%에 도달).
• 그러나, 이와 동일한 모델들이 Pointwise 설정에서는 크게 저하됩니다 (예: 동일 모델이 65.3%로 하락).
• 이러한 "프로토콜 붕괴(protocol collapse)"는 모델이 두 옵션이 모두 보일 때는 차이를 구별할 수 있지만, 단일 오디오 컨텍스트를 바탕으로 결정을 내려야 할 때는 이 능력을 제대로 발휘하지 못함을 나타냅니다.

3.2 이질적인 실패 모드

총체적 정확도는 구체적인 실패 메커니즘을 가립니다:

• Gemini 모델: 높은 "포템킨" 실패율을 보입니다. 이들은 인지 및 오라클 매핑 프로브는 통과하지만, 최종 단계인 네이티브 오디오 설정에서의 통합 단계에서 실패하는 경우가 많습니다. 예를 들어, Gemini-3-Pro는 단일 턴 태스크에서 26%의 포템킨 질량을 가집니다.
• GPT 모델: 낮은 신뢰 통합도와 더 큰 인지 병목을 보이며, 매핑 질문이 중요해지기 전 단계에서 먼저 실패합니다.
• 포지셔널 태스크 (Positional Tasks): 모든 모델에서 다회차 시간적 태스크의 성능이 하락합니다. 가장 강력한 모델조차 "Positional Pointwise" 설정에서 어려움을 겪으며(종종 무작위 수준인 ~50% 근처), 이는 시간적-인과적 준언어적 평가가 매우 어려운 과제임을 시사합니다.

3.3 타당성 검사

저자들은 결과가 합성 음성이나 생성기 편향의 산물이 아님을 확인하기 위해 강건성 검사를 실시했습니다:

• 합성 vs. 실제 음성: 합성된 오디오를 실제 인간의 음성(CAVA 데이터셋)으로 교체했을 때 매우 높은 상관관계의 진단 프로필($\rho > 0.9$)을 얻었습니다.
• 생성기 편향: 데이터셋 주석을 생성하는 데 사용된 모델을 교체해도 모델 순위에 변화가 없었습니다.
• 품질 균형: 무관한 요소인 오디오 품질(DNSMOS)이나 어휘적 유용성이 후보 응답 간에 균형을 이루도록 하여, 혼란 변수를 배제했습니다.

4. 기여

1. 카운터팩추얼 감사: ALM 판사가 어휘적 지름길이 아닌 준언어적 증거에 의존하는지 명시적으로 테스트하기 위해 카운터팩추얼 오디오 항목을 사용하는 프레임워크를 도입했습니다.
2. 루트 원인 진단 절차: 판사의 실패를 인지($P$), 오라클 매핑($O$), 네이티브 판단($J$) 상태로 분해하여 "포템킨" 실패와 같은 구체적인 병목 지점을 식별하는 새로운 절차를 제시했습니다.
3. 프런티어 모델의 실증적 감사: 총체적 정확도만으로는 오디오 판사의 신뢰성을 인증하기에 불충분함을 보여주는 종합적인 평가를 수행하였으며, 특히 시간적-인과적 추론의 취약성을 강조했습니다.

5. 의의 및 주장

본 논문은 ALM 판사를 정확도만으로 평가해서는 안 된다고 주장합니다. Pairwise(대조적) 성능과 Pointwise(네이티브) 성능 사이의 큰 격차는 모델이 준언어적 능력을 잠재적으로 가지고 있음에도 불구하고, 표준 배포 시나리오에서는 이를 활성화하지 못할 수 있음을 시사합니다.

저자들은 다음과 같이 결론짓습니다:

• 대조적 성공이 네이티브 판사의 신뢰도를 보장하지 않는다. 두 옵션이 모두 존재할 때 매칭할 수 있는 모델이라 할지라도, 단일 상호작용을 올바르게 판단하는 데는 실패할 수 있습니다.
• 총체적 정확도는 메커니즘을 숨긴다. 두 모델이 유사한 정확도 점수를 갖더라도 근본적으로 다른 실패 모드(예: 하나는 인지에서 실패하고, 다른 하나는 조율에서 실패함)를 가질 수 있습니다.
• 철저한 행동 감사가 필요하다. ALM을 음성-대-음성 시스템의 판사로 배포하기 전에, 이들이 단순히 오디오 단서를 이해하는 것처럼 보이는 "포템킨" 평가자인지, 아니면 텍스트 기반 휴리스틱에 의존하는지를 확인하기 위해 반드시 이러한 진단 감사를 거쳐야 합니다.

이 연구는 개선 작업(학습 또는 데이터 설계)을 향후 과제로 남겨두며, 대신 실패 모드를 엄격하게 식별하는 데 집중합니다.