기술 요약: 블랙박스 LLM의 계층적 분류 추론을 위한 계층 인식형 지도 학습 기반 불확실성 추정

문제 정의

본 논문은 블랙박스 환경(API를 통해서만 접근 가능)에서 계층적 분류 추론(hierarchical taxonomic reasoning) 작업을 수행하는 대규모 언어 모델(LLM)의 신뢰할 수 있는 불확실성 정량화(UQ) 문제를 다룹다. 이는 예측이 여러 의미적 수준(분류 단계)에 걸쳐 있고 데이터 분포가 강한 롱테일(long-tailed) 특성을 보이는 생물 다양성 모니터링 분야에서 특히 중요하다.

기존 솔루션들은 이 맥락에서 두 가지 주요 한계점에 직면한다:

1. 블랙박스 제약: 로짓(logits)이나 은닉 상태(hidden states)에 의존하는 화이트박스 방식은 독점적인 API 모델에는 적용할 수 없다.
2. 계층적 복잡성: 표준 불확실성 지표는 계층적 출력의 구조를 제대로 반영하지 못하는 경우가 많다. 모델은 불확실한 단계에서 중단하여 단일 라벨이 아닌 부분적인 경로(partial paths)를 생성할 수 있는데, 계층적 설정에서의 중단(abstention)은 단일 거절이 아닌 부분적 출력을 생성하므로 신뢰도 임계값을 정의하는 것을 복잡하게 만든다.

자기 성찰적 확신(self-verbalized confidence)이나 여러 샘플링된 응답의 의미적 클러스터링과 같은 기존의 블랙박스 접근 방식은 내재적 불확실성에 충실하지 않거나, API 기반 파이프라인에서 비용이 지나치게 많이 든다.

방법론

저자들은 불확릿성 추정을 프롬프트-응답 쌍에서 추출한 대리 특징(proxy features)을 사용하는 지도 학습 기반 예측 문제로 정식화하였다. 핵심 파이프라인은 다음과 같다:

1. 업스트림 시스템: 타겟 LLM(GPT-4o)이 이미지 캡션과 검색된 컨텍스트로부터 분류 예측을 생성한다. 이 모델은 조 coarse-to-fine 추론 전략을 사용하여, 불확실한 첫 번째 단계에서 중단함으로써 가변 깊이의 부분 경로를 생성한다.
2. 대리 특징 추출: 오픈 소스 "도구 LLM"(예: Gemma 7B, GPT-OSS 20B, 또는 Qwen3 30B)이 프롬프트-응답 쌍을 처리하여 두 종류의 특징을 추출한다:
   • 표현 특징(Representation features): 중간 레이어의 평균 및 마지막 토큰의 은닉 상태.
   • 분포 특징(Distributional features): 엔트로피, 음의 로그 확률(negative log-probability), 원시 토큰 확률의 통계값.
3. 지도 학습 기반 추정기: 추출된 특징을 사용하여 단계별 정확도를 예측하도록 경량 다층 퍼셉트론(MLP)을 학습시킨다. 아키텍처는 다음을 포함한다:
   • 공유 트렁크(Shared Trunk): 2개 층의 공유 백본 (은닉 크기 16, ReLU, 드롭아웃 0.3).
   • 헤드(Heads): 태스크별 출력 헤드. 주요 헤드는 이진 정확도($y \in \{0, 1\}$)를 예측하는 시그모이드 분류기이다.
   • 계층 인식형 지도 학습(Hierarchy-Aware Supervision): 계층적 구조를 활용하기 위해, 조상 교집합(ancestor intersection)에 기반한 계층적 F1 점수($h$)를 예측하는 보조 회귀 헤드를 사용한다. 손실 함수는 이진 교차 엔트로피(BCE)와 평균 제곱 오차(MSE)를 결합한다:
     $$L = BCE(\hat{p}, y) + \lambda \|\hat{h} - h\|_2^2$$
4. 아키텍처 변형:
   • H1: BCE로만 학습된 단일 이진 헤드.
   • H2: 단일 이진 헤드 + 결합된 손실로 학습된 보조 회귀 헤드.
   • H3: 5개의 이진 헤드(단계별 하나씩)와 하나의 보조 회귀 헤드를 갖춘 단계별 멀티 헤드 설계. 이를 통해 모델은 단 한 번의 순전파(forward pass)로 모든 단계에 대한 정확도 확률을 출력할 수 있다.

주요 기여

1. 정식화: 저자들은 블랙박스 LLM의 계층적 UQ를 부분 경로 중단(partial-path abstention) 하에서의 단계별 선택적 예측 문제로 규정하였으며, 오류 전파를 포착하기 위해 단계 수준에서 불확실성을 명시적으로 모델링하였다.
2. 방법론: 내부 상태에 접근할 수 없는 블랙박스 LLM을 위해, 대리 LLM의 특징과 계층 인식형 지도 학습(보조 계층적 F1 타겟 활용)을 사용하는 경량 지도 학습 기반 추정기를 개발하였다.
3. 설계 통찰: 경험적 평가를 통해, **단계별 멀티 헤드 설계(H3)**가 가장 우수한 성능을 보임을 입증하였으며, 이는 통합된 중단 규칙이 필요한 경우 계층적 출력 구조를 고려하는 것이 매우 중요함을 시사한다.

결과

연구는 희귀 종(Rare Species) 데이터셋에서 추출한 829개의 절지동물 이미지를 대상으로 수행되었으며, 보존 우선순위가 높은(멸종 위기) 종을 중심으로 7개의 분류 단계를 다루었다.

• 베이스라인 대비 성능: 세 가지 서로 다른 도구 LLM에 대해, 지도 학습 기반 추정기는 토큰 가능도 베이스라인(Negative Mean Token NLL)보다 일관되게 우수한 성능을 보였다.
  • Micro AUROC: 베이스라인 0.573에서 0.75–0.80 범위로 개선되었다.
  • 선택성(Selectivity): 단일 글로벌 거절 임계값 하에서, 지도 학습 기반 추정기는 광범한 커버리지 범위에 걸쳐 베이스라인보다 현저히 낮은 선택적 리스크(수용된 사례들 사이의 오류율)를 달了했다.
• 아키텍처 비교:
  • **H3 (단계별 멀티 헤드)**가 전체적으로 가장 높은 평균 Micro AUROC(예: Gemma 7B의 경우 0.796)를 달성하였다.
  • H2(보조 지도 학습)는 H1에 비해 완만한 이득을 보였으나, H1과 H3 사이의 격차가 더 뚜렷하게 나타났다. 이는 통합 임계값 배포를 위해 단계별 출력 헤드를 사용하는 것이 보조 계층적 타겟을 사용하는 것보다 더 효과적임을 나타낸다.
• 지표 간 차이: 논문은 Micro AUROC(고커버리지의 조상 단계가 지배적임)와 Macro AUROC(단계 균형 적용) 사이의 괴리를 언급한다. 지도 학습 기반 추정기는 Micro AUROC에서는 좋은 성능을 보였으나, 희소한 지도 학습과 빈번한 중단으로 인해 분산이 커지는 깊은 단계(deeper ranks)에서는 Macro AUROC에서 일관된 이득을 보여주지 못했다.

의의 및 주장

본 논문은 계층적 설정에서의 **통합 임계값 배포(unified-threshold deployment)**를 위해, 불확실성 신호 자체만큼이나 불확실성 추정기의 설계가 결정적이라고 주장한다. 구체적으로:

• 실용성: 제안된 방법은 내부 신호를 사용할 수 없거나 멀티 샘플링 비용이 너무 높은 블랙박스 LLM에 대한 실질적인 해결책을 제공한다.
• 계층 인식: 계층적 출력을 단순히 평면적(flat) 라벨로 취급하는 것은 최선이 아니다. 결과는 단계별 특성(H3를 통해)을 명시적으로 모델링하는 것이 더 나은 식별력과 리스크-커버리지 트레이드오프를 이끌어낸다는 것을 시사한다.
• 배포 준비성: 이 접근 방식은 불확실한 사례를 도메인 전문가에게 전달하기 위한 원칙적인 거절 임계값을 지원하며, 이는 생태학 및 보존과 같은 고위험 분야에서 필수적인 요구사항이다.

저자들은 자신의 결론이 단일 분류 추론 파이프라인과 특정 글로벌 중단 임계값에 기반하고 있음을 언급하며 일반화 가능성에 대해 신중한 태도를 유지한다. 또한, 희소한 심층 단계(fine-rank)의 지도 학습이 여전히 한계점으로 남아 있으며, 향후 연구를 통해 더 넓은 분포 변화 및 단계별 결정 규칙에 대한 일반화 능력을 평가할 필요가 있다고 인정한다.