기술 요약: 제어를 위한 잠재 공간(Latent Space)의 활용과 신뢰 구축

1. 문제 정의

언어 모델(LM)이 신뢰할 수 없는 생성기에서 조 단위 파라미터를 가진 시스템으로 규모가 커짐에 따라, 내부 표현의 복잡성 또한 증가하였으며, 이는 종종 NLP 커뮤니티가 모델을 "블랙박스"로 취급하게 만드는 원인이 되었습니다. 이러한 모델들이 외부 도구 및 의사결정을 포함하는 중간~고위험 시나리오에 점점 더 많이 배치되고 있음에도 불구하고, 모델 내부 구조에 대한 근본적인 이해보다는 단순한 행동 관찰에 의존하는 상태에 머물러 있습니다. 본 논문은 두 가지 결정적인 격차를 식별합니다:

1. 제어(Control): 재학습이나 미세 조정(fine-tuning) 없이 모델의 행동(예: 정확한 시퀀스 또는 특정 개념 생성)을 정밀하게 조종할 수 있는 메커니즘의 부재.
2. 신뢰(Trust): 언어 모델이 출력값에 대해 잘 보정된(well-calibrated) 확신 추정치를 제공하지 못하는 문제, 특히 도구 호출(tool-calling) 및 고위험 의사결정 맥락에서의 문제. 가공되지 않은 모델 확률은 보정 능력이 떨어지는 것으로 알려져 있으며, 기존의 사후 보정(post-hoc calibration) 방법들은 보정 오차를 낮추는 과정에서 의사결정 유용성을 희생시키는 경우가 많습니다.

2. 방법론 및 기여

본 논문은 제어(섹션 2–3)와 신뢰(섹션 4–5)라는 두 가지 주요 주제로 구성된 네 가지 연구 스레드를 제시합니다.

주제 A: 스티어링 벡터를 통한 제어

저자들은 모델 파라미터를 업데이트하지 않고 추론 시점에 언어 모델의 잠재 공간에 개입하기 위해 스티어링 벡터($z_{steer}$)를 사용하는 방안을 제안합니다.

• LSTM 기반 모델 (Subramani et al., 2019):

  • 방법: 저자들은 문장 공간을 $d$-차원 은닉 상태 공간에서의 궤적(trajectory)으로 정의합니다. 이들은 모든 타임스텝에서 은닉 상태 및 셀 상태에 더해지는 편향 항 $z_{steer}$를 도입합니다. 이 벡터는 타겟 시퀀스의 로그 확률을 최대화하도록 그래디언트 기반 방법(예: 비선형 공액 기울기법)을 통해 최적화됩니다.
  • 메커니즘: 이 과정은 "순방향 추정(forward estimation)"(시퀀스를 벡터로 매핑)과 "역방향 추정(backward estimation)"(벡터를 주입하여 빔 서치로 시퀀스를 생성)을 포함합니다.
  • 결과: 저자들은 동결된(frozen) LSTM 모델이 높은 회복력(토큰 수준의 정확한 일치율 $\geq 0.99$)을 보이며 정확한 시퀀스를 생성하도록 유도할 수 있음을 입증했습니다. 또한 엔트로피가 낮은 시퀀스(자연어)가 높은 엔트로피의 무작위 시퀀스보다 회복하기 더 쉽다는 점을 언급했으나, 벡터는 무작위 데이터에서도 최대 28개 토큰까지 완벽하게 인코딩할 수 있었습니다.

• Transformer 기반 모델 (Subramani et al., 2022):

  • 방법: 이 개념은 트랜스포머로 일반화되었습니다. 여기서 $z_{steer}$는 단일 레이어(구체적으로 피드 포워드 레이어 이후)의 단일 타임스텝(보통 첫 번째 단계)에 편향 항으로 주입됩니다.
  • 세밀한 제어: GPT-2에 대한 실험 결과, 특정 레이어(예: 레이어 6의 self-attention 또는 레이어 7의 feed-forward)의 첫 번째 타임스텝에 벡터를 주입함으로써 그리디 디코딩(greedy decoding)을 통해 거의 100%의 시퀀스 회복이 가능함을 보여주었습니다.
  • 개념 기반 스티어링: 저자들은 양성(positive)과 음성(negative) 감정의 평균 스티어링 벡터 차이($z_{pos} - z_{neg}$)를 사용하여 추론 시 입력의 감정을 전환하는 DiffMean 스티어링을 도입했습니다.
  • 결과: 잠재 공간은 비교적 매끄러운(smooth) 것으로 나타났으며, 벡터 간의 선형 보간(linear interpolation)은 구문 및 의미론적 측면에서 매끄러운 전이를 생성했습니다. 스티어링 벡터는 평균 풀링된 은닉 상태보다 의미적 유사성을 더 잘 나타내는 표현임이 밝혀졌습니다.

주제 B: 잠재 공간 보정을 통한 신뢰

저자들은 모델 내부를 활용하여 원시 모델 확률보다 더 잘 보정된 확신 추정기를 구축할 것을 제 제안합니다.

• MICE (Model-Internal Confidence Estimators) (Subramani et al., 2025a):

  • 동기: 레이어를 거치며 천천히 정교해지는 예측이 최종 레이어에서 갑자기 나타나는 예측보다 더 신뢰할 수 있다는 관찰에 기초합니다.
  • 방법: 주어진 쿼리에 대해 모델은 "logit lens"를 사용하여 각 레이어로부터 중간 출력($y^{(i)}$)을 생성합니다. 이 중간 출력들은 BERTScore를 사용하여 최종 출력($y^{(final)}$)과 비교됩니다. 이 유사도 점수는 원시 확신도와 결합되어 분류기(Random Forest 또는 Logistic Regression)에 입력되며, 정답 여부를 예측합니다.
  • 지표: 저자들은 기대 보정 오차(ECE)가 베이스 레이트 추정기와 오라클을 구분하지 못하거나 작업 위험 수준을 고려하지 못하는 한계를 해결하기 위해, **기대 도구 호출 유용성(ETCU)**을 도입하여 확신 추정기를 평가했습니다.
  • 결과: MICE는 STE 도구 호출 데이터셋에서 전통적인 사후(post-hoc) 베이스라인(Histogram Regression, Nadaraya-Watson Kernel Regression)보다 뛰어난 성능을 보였으며, 특히 베이스라인들이 완전히 기권(abstain)하는 경향이 있는 중간~고위험 시나리오에서 두드로 나타났습니다.

• ACUTE (Activation-Based Confidence, Utility, and Trust Estimators) (Subramani et al., 2026):

  • 개선 사항: ACUTE는 비용이 많이 드는 보조 BERTScore 모델에 대한 의존성을 제거하고, 기권이 항상 제로 보상을 준다는 ETCU의 단순화된 가정을 제거함으로써 MICE의 한계를 해결합니다.
  • 방법: ACUTE는 BERTScore 대신 모델 레이어의 원시 **활성화 값(activations)**을 분류기의 특징(feature)으로 사용합니다. 또한, 기권이 항상 제로 보상을 준다는 가정 대신, 오라클(1)과 안티-오라클(0) 사이에서 균형을 맞추며 의사결정 유용성을 조절하는 EURO (Expected Utility Renormalized by the Oracle) 지표를 도입했습니다.
  • 결사: MMLU(다중 선택 QA), APIGen(도구 호출), SCITL-DR(과학적 요약) 등 6개의 LLM에 대해 테스트되었습니다. ACUTE(특히 후기 레이어 활성화 또는 PCA로 축소된 활성화 사용)는 원시 확신도 및 사후 베이스라인들에 비해 AUC-EURO에서 일관되게 우수한 성능을 보이면서도 낮은 **smooth ECE (smECE)**를 유지했습니다.

3. 주요 결과

• 제어: 스티어링 벡터는 동결된 모델에서 시퀀스의 정확한 생성을 가능하게 합니다. 트랜스포머의 경우, 중간 레이어의 첫 번째 타임스텝에 벡터를 주입함으로써 거의 완벽한 회복을 달ей합니다. 개념 스티어링(예: 감정 전이)은 잠재 공간 내의 벡터 연산을 통해 달성 가능합니다.
• 신뢰: 원시 모델 확신도는 보정 능력이 떨어집니다. 사후 방법들은 종면 베이스 레이트 추정치로 수렴하여 유용성을 희생하는 경우가 많습니다.
• 성능:
  • MICE: 도구 호출 시나리오에서 베이스라인보다 더 나은 의사결정 유용성을 입증했으며, 위험도에 따라 기권율을 적절히 조정했습니다.
  • ACUTE: 다양한 작업(QA, 도구 호출, 요약)과 모델 제품군(Llama, Gemma) 전반에서 우수한 성능을 보였으며, 활성화 기반 특징이 보조 모델 없이도 신뢰 추정을 위한 강력한 신호를 제공함을 보여주었습니다.

4. 의의 및 주장

본 논문은 자신의 기여가 언어 모델의 잠재 공간을 규명하고 활용하기 위한 "실행 가능한 레시피(actionable recipes)"를 제공한다고 주장합니다.

• 내부 구조의 운영화: 이 연구는 모델을 블랙박스로 취하는 단계를 넘어, 내부 표현(LSTM의 궤적, 트랜스포머의 레이어별 벡터, 활성화 패턴)을 직접 조작하고 신뢰를 위해 활용할 수 있음을 보여줍니다.
• 보편적 디코더: 모델을 정확한 시퀀스 생성으로 유도할 수 있는 능력은 언어 모델이 보편적 디코더로서 기능할 수 있음을 시사하며, 이는 작업별 미세 조정 대신 추론 시점의 스티어링을 선호하게 만들 수 있습니다.
• 신뢰할 수 있는 AI: 보정 능력이 뛰어나고 유용성을 고려하는(EURO를 통해) 확신 추정기를 개발함으로써, 본 논문은 단순한 확률 출력을 넘어 의사결정 중심의 신뢰 메커니즘으로의 전환을 주장하며, 이는 고위험 애플리케이션에서 매우 중요합니다.
• 향-후 방향: 저자들은 자신의 연구를 블랙박스를 여는 단계로 위치시키며, 커뮤니티가 제어 가능하고 잘 보정되며 신뢰할 수 있는 언어 기술을 구축하기 위해 잠재 공간을 연구하도록 독려합니다.

본 논문은 MICE의 BERTScore 의존성과 같은 계산 비용 문제나 사용된 특정 데이터셋의 한계를 인정하면서도, 이를 ACUTE와 같은 후속 연구를 통해 해결 가능한 과제로 프레이밍하며 겸손한 범위를 유지하고 있습니다.