기술 요약: DT-PBO – 선호 베이지안 최적화를 위한 해석 가능한 트리 기반 대리 모델

1. 문제 제기

선호 베이지안 최적화 (Preferential Bayesian Optimization, PBO) 는 가능한 최소한의 쌍별 비교 (Pairwise Comparisons, PCs) 를 사용하여 탐색 공간 내에서 의사결정자 (DM) 가 가장 선호하는 솔루션을 식별하는 것을 목표로 합니다. 기존 PBO 방법들은 주로 가우시안 프로세스 (GP) 대리 모델에 의존하지만, 이러한 모델들은 해석 불가능성이라는 치명적인 한계를 겪습니다. GPs 는 블랙박스 모델로 작동하여 DM 이 특정 솔루션이 선호되는 이유를 이해하기 어렵게 만듭니다. 이러한 불투명성은 규제 프레임워크 (예: EU 의 GDPR) 와 윤리 가이드라인 (예: NATO 의 책임 있는 AI 전략) 이 설명 가능성을 의무화하는 고위험 분야 (예: 의료, 국방) 에서 중요한 장벽입니다. 또한, GPs 에 대한 사후 설명 방법들은 종종 근본적인 모델과 일치하지 않아 오해의 소지가 있는 통찰력을 제공할 수 있습니다.

본 논문은 선호 불확실성을 모델링하고 능동 학습 (샘플 효율성) 을 지원할 수 있는 능력을 유지하면서 본질적으로 해석 가능한 대리 모델의 필요성을 해결합니다.

2. 방법론: DT-PBO

저자들은 PBO 를 위해 특별히 설계된 새로운 의사결정 트리 (Decision Tree, DT) 기반 대리 모델인 DT-PBO를 제안합니다. 분류 또는 순위 데이터로 훈련된 표준 의사결정 트리와 달리, DT-PBO 는 쌍별 비교 데이터에서 직접 학습합니다. 이 방법은 표준 PBO 최적화 루프 (그림 1) 를 따르지만, GP 대리 모델을 트리 기반 구조로 대체합니다.

2.1 공간 분할 (분할 휴리스틱)

핵심 혁신은 순위 레이블이 아닌 관찰된 선호도에 기반하여 특징 공간을 분할하도록 설계된 일관성 점수 (Consistency Score) 분할 휴리스틱입니다.

• 메커니즘: 비교 데이터 집합 $D_A$를 포함하는 노드 $A$에 대해, 알고리즘은 후보 분할 (특징 인덱스 $k$ 및 임계값 $t$) 을 평가합니다.
• 일관성 점수 ($S_A$): 분할은 '승자'와 '패자'를 얼마나 잘 분리하는지에 따라 점수가 매겨집니다. 구체적으로, 승자가 분할의 한쪽에 있고 패자가 다른 쪽에 있으면 $+1$, 반대로 되면 $-1$, 둘 다 같은 쪽에 있으면$0$인 변수$Z_i(s)$의 경험적 평균을 계산합니다. 점수는 이 평균의 절대값입니다.
• 경계자 (Straddler) 제외: 중요한 구조적 특징은 '경계자' (한 항목은 왼쪽 자식 노드에, 다른 항목은 오른쪽 자식 노드에 속하는 쌍) 를 자손 분할에 사용되는 데이터셋에서 제외한다는 것입니다. 저자들은 부모 분할이 설정된 후 경계자에는 자식 노드의 내부 구조에 대한 정보가 전혀 없다고 수학적으로 주장합니다. 이 배제는 트리 성장을 자연스럽게 제어하여 공격적인 하이퍼파라미터 튜닝 없이도 얕고 해석 가능한 트리를 선호합니다.

2.2 리프 파라미터 추정

트리 구조가 결정되면, 모델은 능동 학습을 지원하기 위해 각 리프에 확률적 추정을 할당합니다.

• 확률적 리프: 단일 값 대신 각 리프 $j$는 평균 $f_j$를 가진 가우시안 분포로 모델링됩니다.
• 라플라스 근사 (Laplace Approximation, LA): 저자들은 리프 전반의 잠재 효용 값이 결합 다변량 가우시안 사전 분포를 따른다는 베이지안 접근법을 사용합니다. 최대 사후 확률 (MAP) 추정치와 사후 공분산을 찾기 위해 라플라스 근사를 사용합니다.
• 식별 가능성: 쌍별 가능도에서 내재된 이동 불변성 (모든 효용에 상수를 더해도 선호도가 변하지 않음) 을 해결하기 위해 합이 0 인 제약 조건 ($\sum f_i = 0$) 이 적용됩니다. 이는 모델이 식별 가능하도록 보장하고 상수 이동 방향의 비감소 분산을 제거합니다.
• 하이퍼파라미터: 모델은 노이즈 분산과 사전 분산의 비율 ($\sigma^2_{noise}/\sigma^2_{prior}$) 에 의존하며, 이는 최적화를 지배하는 유일한 식별 가능한 파라미터임이 입증되었습니다.

2.3 능동 학습

모델은 다음 가장 정보적인 쌍별 비교를 선택하기 위해 qEUBO(최고 옵션의 기대 효용) 획득 함수를 활용합니다.

• 리프 간 vs 리프 내: qEUBO 는 서로 다른 리프 간의 비교를 효과적으로 선택하지만, 단일 리프 내에서는 (예측 평균이 일정하므로) 무너집니다. 이를 해결하기 위해 저자들은 이산 설정에서 리프 내 우선순위 지정을 위한 휴리스틱을 사용하여 현재 최적값을 포함한다고 믿어지는 리프에 탐색을 집중합니다.

3. 주요 기여

1. 트리 기반 선호 학습: 새로운 일관성 기반 분할 휴리스틱과 확률적 리프 추정을 사용하여 쌍별 비교 데이터에서 직접 해석 가능한 의사결정 트리를 학습하는 알고리즘 개발.
2. 수치적 평가: DT-PBO 가 최첨단 GP 기반 모델 (SkewGP 및 LA 기반 GP) 과 경쟁력 있는 수렴을 달성함을 보여주는 실증적 검증. 특히 거친 최적화 지형 (예: De Jong, Holder, Schwefel) 을 가진 함수에서 두드러집니다. 이 방법은 계산 실행 시간이 GPs 보다 10~400 배 훨씬 빠른 것을 보여줍니다.
3. 실제 사례 연구: 두 가지 다른 시나리오에서 모델의 해석 가능성과 유용성 입증:
   • 스시 선호도: 모델이 사용자 선호도를 복원하고 보지 못한 항목에 대해 일반화할 수 있음을 보여줌.
   • 환자 메시지 순위 매기기 (PMR): 고위험 임상 분류 작업으로, 모델이 '경고 증후군', '메시지 실행 가능성'과 같은 특정 특징이 긴급성을 주도함을 식별하여 블랙박스 LLM 또는 GP 접근법으로는 불투명한 통찰력을 제공함.

4. 결과

• 수렴: 여덟 개의 벤치마크 함수 전반에 걸쳐 DT-PBO 는 경쟁력 있는 성능을 발휘합니다. 매끄럽고 거친 지형이 아닌 함수 (예: Rosenbrock, Hartmann) 에서는 약간 뒤처지지만, 거친 함수에서는 GPs 를 능가하거나 맞먹습니다.
• 효율성: DT-PBO 는 계산적으로 우수하며, 200 회 반복에 대해 약 12 초의 실행 시간을 보이는 반면 GP 변형들은 수백에서 수천 초가 소요됩니다. 이는 커널 길이 척도에 대한 하이퍼파라미터 최적화를 피하고 헤시안 행렬 크기를 고유 항목 수 ($m$) 에서 리프 수 ($m_l$) 로 줄인 데 기인합니다.
• 강건성: 모델은 선호도의 노이즈에 강건하며 노이즈/사전 비율 하이퍼파라미터의 작은 변화에 민감하지 않습니다.
• 해석 가능성: 사례 연구에서 결과 트리 (깊이 4~6) 는 GPs 나 대규모 언어 모델 (LLM) 의 블랙박스 출력과 달리 도메인 지식과 일치하는 명확하고 인간이 읽을 수 있는 규칙 (예: "가슴 통증이 있으면 우선순위 지정") 을 제공합니다.

5. 중요성과 한계

본 논문은 DT-PBO 가 PBO 에서 블랙박스 GP 대리 모델에 대한 실용적이고 본질적으로 해석 가능한 대안을 제공한다고 주장합니다. 그 중요성은 샘플 효율적 최적화와 중요한 의사결정 분야에서의 설명 가능성 필요성 사이의 간극을 메우는 데 있습니다. 투명한 모델을 제공함으로써 의사결정자는 더 큰 자신감과 신뢰로 선호도를 세밀하게 조정할 수 있습니다.

저자가 인정하는 한계:

• 무관심: 현재 모델은 무관심 진술 ($A \sim B$) 을 명시적으로 모델링할 수 없습니다.
• 고차원: 차원이 증가함에 따라 ($D > 7$) 거친 지형이 아닌 함수에서 성능이 저하됩니다. 이는 아마도 고차원 매끄러운 함수에서 일반적으로 발생하는 복잡한 대각선 결정 경계와 싸우는 축 정렬된 의사결정 트리 분할의 특성 때문일 것입니다.
• 특징 추출: PMR 사례 연구에서 최종 모델의 품질은 특징 추출에 사용된 LLM 의 신뢰도에 의존합니다.

저자들은 한계가 존재하지만, DT-PBO 가 해석 가능한 대리 모델이 특히 해석 가능성이 배포의 전제 조건인 시나리오에서 PBO 에서 경쟁력 있는 성능을 달성할 수 있음을 성공적으로 입증했다고 결론지었습니다.