기술 요약: 음성 언어 모델에서 의사결정 규칙의 불일치와 판독 범위(Readout-Coverage) 제한의 분리

문제 정의

음성 언어 모델(SLM)은 프롬프트된 생성 답변의 정확도를 통해 파랄린구이istic(paralinguistic) 과업(예: 감정 인식)을 평가받는 경우가 늘고 있습니다. 그러나 생성 정확도는 오디오-답변 계산의 서로 다른 단계에서 발생하는 실패를 혼재하여 보여줍니다. 낮은 정확도 점수는 다음 세 가지 잠재적 실패 모드 중 무엇인지 구분하지 못합니다:

1. 증거 손실(Evidence Loss): 관련 음향 증거가 언어 모델 구성 요소에 도달하지 못함.
2. 판독 범위 격차(Readout-Coverage Gap): 증거가 은닉 상태(hidden state)에는 유지되어 있으나, 생성된 라벨을 결정하는 특정 좌표(옵션 로짓)를 통해 노출되지 않음.
3. 의사결정 규칙 불일치(Decision-Rule Misalignment): 증거가 옵션 로짓에는 도달했으나, 모델의 기본 의사결정 규칙(예: greedy argmax)이 편향이나 불일치하는 임계값으로 인해 이 점수들을 비효율적으로 사용함.

현재의 행동 지표(behavioral metrics)는 이러한 실패를 고립시켜 설명할 수 없으므로, 성능 저하가 표현(representation) 문제에서 기인하는지 아니면 디코딩의 비효율성에서 기인하는지 판단하기 어렵게 만듭니다.

방법론

저자들은 생성된 행동과 전체 상태 디코딩 가능성 사이의 거리를 세 개의 가산 항(additive terms)으로 분해하는 **생성 정렬 진단 사다리(generation-aligned diagnostic ladder)**를 도입합니다. 이 프레래임워크는 다섯 가지 SLM과 두 가지 감정 코퍼스(CREMA-D 및 VESUS)에 걸쳐 동일한 답변 토큰 이벤트에 대한 네 가지 관점을 정렬합니다.

진단 사다리

이 프레임워크는 동일한 홀드아웃 분할(held-out splits)에 대해 네 단계의 성능을 평가합니다:

1. $A_{gen}$: 모델의 실제 생성 답변의 정확도 (전체 어휘에 대한 greedy decoding).
2. $A_{opt}$: 엄격하게 네 개의 옵션 로짓에 국한된 사후적(post-hoc) argmax의 정확도.
3. $A_{aff}$: 세 개의 참조 상대적 옵션-로짓 대비(contrast)에 적용된 학습된 아핀 판독기(affine reader)의 정확도.
4. $A_{state}$: 답변 위치의 전체 은닉 상태에 적용된 정규화된 아핀 판독기의 정확도.

이 단계들은 전체 성능 결손($A_{state} - A_{gen}$)을 세 가지 정확한 항으로 분해할 수 있게 합니다:

• 종단 유효성(Endpoint Validity, $\Delta_{endpoint}$): $A_{gen}$과 $A_{opt}$의 차이. 이는 방출/포맷팅 오류(예: 옵션 이외의 응답)를 포착합니다.
• 의사결정 규칙 격차(Decision-Rule Gap, $\Delta_{decision}$): $A_{aff}$와 $A_{opt}$의 차이. 이는 기존 옵션 대비를 사용하여 의사결정 규칙을 최적화할 때 얻을 수 있는 이득을 측정합니다.
• 판독 범위 격차(Readout-Coverage Gap, $\Delta_{coverage}$): $A_{state}$와 $A_{aff}$의 차이. 이는 네이티브 옵션 로짓을 통해서는 접근할 수 없는 전체 은닉 상태가 지원하는 추가적인 성능을 측정합니다.

실험적 개입

진단 결과를 검증하기 위해 저자들은 다음과 같은 개입을 수행합니다:

• 라벨 프리 로짓 교정(Label-Free Logit Correction): 의사결정 규칙 격차를 테스트하기 위해, 라벨이 없는 배치의 평균 선호도에 따라 옵션 로짓에 오프셋을 적용합니다. 이는 정답 라벨 없이도 안정적인 옵션 편향을 수정하는 것이 생성 성능을 개선하는지 테스트합니다.
• 서브스페이스 디코딩(Subspace Decoding): 판독 범위 격차를 분석하기 위해, 은닉 상태를 네이티브 판독 공간($V_3$, 옵션-토큰 행들에 의해 생성됨)과 그 직교 보공간($V_3^\perp$)으로 분해합니다. $V_3$에서의 디코딩 정확도를 무작위 서브스페이스 및 보공간 내의 지도 학습 기반 선택된 서브스페이스($S_{decoding}$)와 비교합니다.
• 최소 쌍 인과적 개입(Minimal-Pair Causal Interventions): 정보의 *가용성(availability)*과 *인과적 사용(causal use)*을 구분하기 위해, 특정 은닉 상태 구성 요소(네이티브 판독 vs. 판독 외부 방향)를 다른 감정을 표현하는 "기증자(donor)" 샘플의 구성 요소로 교체합니다. 그 후 생성된 답변의 변화를 측정합니다.
• 음향 제어(Acoustic Controls): 판독 외부 디코딩 가능성이 단순한 음향 단서의 결과물이 아님을 보장하기 위해 표면 음향 혼란 변수(예: 녹음 레벨, 운율 기술자)를 제어합니다.

주요 결과

열 개의 시스템-코퍼스 조건 전반에 걸쳐, 본 연구는 의사결정 규칙 격차와 판독 범위 격차가 모두 일관되게 양수임을 발견하였으며, 이는 성능 손실이 여러 단계에서 발생함을 나타냅니다.

1. 체계적 격차: 평균 생성 정확도는 0.474인 반면, 전체 은닉 상태로부터의 선형 디코딩은 평균 0.752를 기록했습니다. 총 결손(0.278)은 모든 조건에서 0이 아닌 의사결정 규칙 및 판독 범위 격차로 구성됩니다.
   • 의사결정 규칙 우세: 일부 시스템(예: CREMA-D 데이터셋의 Qwen2-Audio)은 의사결정 규칙에서의 손실($\Delta_{decision} \approx 0.20$)이 더 크게 나타납니다.
   • 판독 범위 우세: 다른 시스템(예: CREMA-D 데이터셋의 Phi-4-MM)은 거대한 판독 범위 격차($\Delta_{coverage} \approx 0.37$)를 보이며, 이는 전체 상태는 높은 정확도를 지원하지만 옵션 로짓은 그렇지 못함을 의미합니다.
2. 의사결정 규칙 격차의 실행 가능성: 라벨 프리 로짓 교정은 모든 조건에서 생성 정확도를 개선하였으며, 감독된 의사결정 규칙 격차의 27%에서 87%를 회복했습니다. 이는 의사결정 규칙 격차의 일부가 로짓 캘리브레이션을 통해 실행 가능하다는 것을 확인해 줍니다.
3. 가용성 vs. 인과적 사용:
   • 가용성: 감정 정보는 네이티브 판독 외부에서도 선형적으로 디코딩 가능하며, 측정된 음향 기술자를 제어한 후에도 홀드아웃 화자에게 일반화됩니다.
   • 인과적 사용: 선택된 판독 외부 방향을 은닉 상태에서 교체했을 때, 생성된 답변에 미치는 영향은 제한적이었습니다. 랭크 매칭 비교에서, 기증자를 따르는 비율(기증자의 감정에 맞춰 답변이 바뀌는 비율)은 판독 외부 방향의 경우 미미했던 반면, 네이티브 판독 공간을 교체했을 때는 상당한 답변 변화가 나타났습니다.
4. 깊이 분석: 판독 외부 정보가 인과적 영향을 미친 특정 사례(Qwen2-Audio)에서, 효과는 중간 레이어에서 정점에 달했다가 출력부 근처에서 감소했습니다. 이는 정보가 토큰 정렬 좌표로 점진적으로 통합됨을 시사합니다.

주요 기여

1. 진단 프레임워크: 생성된 행동과 전체 상태 디코딩 가능성 사이의 거리를 종단 유효성, 의사결정 규칙 격차, 판독 범위 격차로 정확히 분해하는 생성 정렬 프레임워크를 도입했습니다.
2. 행동적 실행 가능성: 의사결정 규칙 격차가 행동적으로 실행 가능하다는 것을 입증했습니다. 표준 라벨 프리 로짓 교정은 테스트된 모든 조건에서 생성된 답변을 개선합니다.
3. 정보 가용성: 네이티브 판독 외부에서도 선형적으로 접근 가능하며 홀드아웃 화자에게 일반화되는 감정 정보를 식별했습니다. 이는 모델의 기본 생성에 사용되는 정보와 구별됩니다.
4. 인과적 분리: 최소 쌍 개입을 통해 정보의 가용성과 인과적 사용을 분리했습니다. 선택된 판독 외부 방향은 디코딩은 가능하지만, 네이티브 판독 방향에 비해 생성된 답변에 미치는 인과적 영향력은 제한적입니다.

의의 및 주장

본 논문은 행동적 오류만으로는 작업 정보가 생성된 답변에 언제 영향을 멈추는지 밝힐 수 없다고 주장합니다. 저자들은 정보의 가용성과 행동적 사용을 구분함으로써 성능 손실이 발생하는 인터페이스를 국지화합니다:

• 의사결정 규칙 불일치: 옵션 로짓을 효율적인 선택으로 전환하는 데 실패하는 것으로, 로짓 교정을 통해 부분적으로 복구가 가능합니다.
• 판독 범위 제한: 은닉 상태의 정보를 네이티브 출력 매핑을 통해 노출하는 데 실패하는 것으로, 이는 기존 로짓의 가중치를 재조정하는 것만으로는 회복할 수 없으며 모델의 정상적인 답변 경로가 사용 가능한 모든 운율적 증거를 활용하지 못하고 있음을 시사합니다.

저자들은 낮은 생성 정확도가 반드시 파이프라인 초기 단계에서 감정 증거가 소실되었음을 의미하는 것은 아니라고 결론짓습니다. 오히려 정보가 상태(state)에는 존재하지만, 의사결정 규칙에 의해 잘못 읽히거나 네이티브 판독을 통해 접근할 수 없는 상태일 수 있습니다. 이러한 발견은 서로 다른 복구 전략을 촉구합니다: 의사결정 규칙 격차를 위해서는 로짓 캘리브레이션을, 판독 범위 격차를 위해서는 판독 메커니즘 또는 라우팅의 적응을 고려해야 합니다. 진단 사다리는 벤치마크 점수를 상태-답변 인터페이스에 대한 진단 도구로 전환합니다.