기술 요약: LILO: 자연어 피드백을 활용한 베이지안 최적화

1. 문제 정의

본 논문은 평가 비용이 높은 블랙박스 함수를 최적화하는 과제를 다룹니다. 여기서 진정한 목적 함수는 직접 측정 가능한 스칼라가 아니라, 의사결정자 (DM) 의 복잡하고 주관적인 선호도입니다. 많은 실제 시나리오에서 결과 $y$를 만족도 점수로 매핑하는 효용 함수 $g(y)$는 알려지지 않았으며 폐쇄형으로 표현하기 어렵습니다.

전통적인 선호 기반 베이지안 최적화 (PBO) 방법은 쌍별 비교나 스칼라 평가와 같은 구조화된 피드백에 의존합니다. 그러나 이러한 형식은 종종 제한적이며, 의사결정자가 자연어로 자연스럽게 표현하는 고차원 목표, 트레이드오프, 정성적制約을 포착하지 못합니다. 반면, 대규모 언어 모델 (LLM) 을 종단간 최적화기로 사용하는 것은 보정된 불확실성과 원칙적인 탐색 - 활용 트레이드오프가 부족하여 샘플 효율성이 낮아지는 경향이 있습니다.

목표는 의사결정자로부터의 자유 형식 자연어 피드백을 활용하여 검색을 안내함으로써, 다음 복합 최적화 문제를 해결하는 것입니다:
$$x^* := \arg \max_{x \in X} g(f(x))$$
여기서 $f: X \to Y$는 블랙박스 시스템이고 $g: Y \to \mathbb{R}$은 잠재적 효용 함수입니다.

2. 방법론: LILO 프레임워크

저자들은 LLM 의 표현력과 가우시안 프로세스 (GP) 기반 베이지안 최적화의 신뢰성을 통합한 하이브리드 프레임워크인 **Language-in-the-Loop Optimization (LILO)**을 제안합니다. LILO 는 LLM 을 최적화기 자체가 아닌 피드백 해석을 지원하는 에이전트로 위치시킵니다.

핵심 워크플로우

최적화는 $T$개의 순차적 시행으로 진행되며, 각 시행은 다음 세 단계로 구성됩니다:

1. 후보 생성 및 실험:

   • 후보 입력 $\{x_i\}$의 배치 (batch) 가 선택됩니다.
   • 첫 번째 시행 ($n=1$) 에서는 후보가 균일하게 샘플링되거나, 사전 지식이 제공된 경우 LLM 프롬프트를 통해 생성됩니다.
   • 이후 시행에서는 현재 GP 대리 모델 $M_{n-1}$을 기반으로 배치 획득 함수 (예: Log Noisy Expected Improvement) 가 후보를 선택합니다.
   • 블랙박스 함수 $f$를 평가하여 관측 가능한 결과 $y_i = f(x_i)$를 생성합니다.

2. 피드백 획득:

   • LILO 에이전트는 축적된 실험 데이터와 이전 피드백을 기반으로 의사결정자 (DM) 에게 질문 배치 ($B_{pf}$) 를 생성합니다.
   • 의사결정자는 자유 형식 자연어 답변 ($a_j$) 을 제공합니다.
   • 이 피드백은 선호도 피드백 데이터셋 $D_{pf}$에 저장됩니다.

3. LLM 라벨링 및 GP 모델을 통한 효용 추정:

   • 라벨링: LLM 은 해석자 역할을 하여 축적된 자연어 피드백을 관측된 결과 간의 구조화된 쌍별 선호도 라벨로 변환합니다. 결과 쌍 $(y, y')$이 주어지면, LLM 은 의사결정자의 텍스트 피드백을 기반으로 어느 것이 선호되는지 결정합니다.
   • 예산 관리: LLM 비용을 관리하기 위해 라벨링은 예산 $K$ 하에서 수행됩니다. 논문은 무작위 샘플링 대신 가장 정보량이 많은 쌍을 선택하기 위해 qEUBO(Expected Utility of Best Option) 획득 함수를 사용하는 순차적 전략을 제안합니다.
   • 모델링: 라벨링된 쌍별 선호도는 입력 공간 $X$에 대한 쌍별 가우시안 프로세스 (GP) 대리 모델 $M_n$을 적합하는 데 사용됩니다. 이 모델은 복합 효용 $u(x) = g(f(x))$를 근사합니다.
   • GP 모델은 보정된 불확실성을 가진 효용에 대한 사후 분포를 제공하며, 이는 다음 라운드의 후보 선택을 주도합니다.

사전 지식 통합

LILO 는 텍스트 기반 사전 지식 ($P_{prior}$) 을 통합하여 "워밍스타트 (warm-starting)"를 지원합니다. 무작위 초기화 대신, LLM 에게 의사결정자의 도메인 전문성 (예: "이 범위의 입력은 좋은 결과를 가져와야 함") 을 기반으로 초기 후보 점을 생성하도록 프롬프트하여, LLM 의 사전 훈련된 도메인 지식을 활용합니다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 제시합니다:

1. LILO 프레임워크: 자유 형식 자연어를 통해 효용 정보를 추출하는 새로운 BO 프레임워크로, 표준 쌍별 또는 스칼라 피드백보다 더 표현력 있는 인터페이스를 제공합니다.
2. 효용 추정 메커니즘: LLM 기반 선호도 라벨링과 GP 모델링을 결합한 확장 가능한 접근법으로, 노이즈가 있고 간접적인 피드백 하에서 보정된 불확실성과 원칙적인 탐색을 가능하게 합니다.
3. 성능 우위: 합성 및 실제 세계 벤치마크에서 기존 PBO 기준 (정량적 피드백 의존) 과 LLM 전용 최적화기 모두보다 LILO 가 더 우수한 성능을 보인다는 경험적 증거를 제시합니다.
4. 사전 지식 통합: 텍스트 사전 지식을 통합하여 최적화를 워밍스타트하는 방법으로, 초기 단계 성능을 크게 향상시킵니다.
5. 비구조화된 결과와의 호환성: 결과 공간 $Y$에 대한 명시적 대리 모델이 필요 없이 LLM 의 결과 해석 능력에 의존하여 고차원 비구조화된 결과 (예: 텍스트 요약) 에 대해 최적화가 가능함을 입증합니다.

4. 실험 결과

저자들은 합성 다목적 함수 (DTLZ2), 차량 안전 시뮬레이터, 차량 캐빈 설계, 열적 쾌적성 모델, 신경 아키텍처 검색 (NAS-Bench-201) 을 포함한 10 개의 환경에서 LILO 를 평가했습니다. 또한 비구조화된 텍스트 결과를 가진 텍스트 요약 작업도 테스트했습니다.

주요 발견 사항

• 샘플 효율성: LILO 는 특히 최적화 초기 단계에서 기준 모델보다 일관되게 우수한 성능을 보입니다. 피드백이 제한된 환경에서, 의사결자로부터의 단일 자연어 메시지는 최적화 진전 측면에서 약 8~16 개의 쌍별 비교 또는 스칼라 평가와 거의 동등한 것으로 나타났습니다.
• 기준 모델과의 비교:
  • LLM 전용 대비: LLM 전용 방법 (직접 또는 2 단계) 은 반복이 증가함에 따라 종종 정체되거나 의미 있는 개선을 이루지 못하며, BO 의 수렴 보장이 부족합니다.
  • 정량적 BO 대비: LILO 는 초기 시행에서 "True Utility BO"및 "Preference BO"(실제 스칼라 또는 쌍별 라벨 사용) 보다 우위를 점합니다. 이 우위는 시행 수가 증가함에 따라 감소하지만, 자연어의 정보 밀도는 상당한 초기 이점을 제공합니다.
• 쌍별 vs 스칼라 라벨링: 연구 결과, 직접적인 스칼라 효용 값을 요청하는 것보다 LLM 에게 쌍별 비교를 요청하는 것이 더 신뢰할 수 있는 효용 추정과 더 나은 최적화 진전을 가져오는 것으로 나타났습니다.
• 사전 지식: LLM 초기화를 통해 도메인 사전 지식을 통합하면 시작점과 전체 성능이 크게 향상되었습니다.
• 비구조화된 결과: 텍스트 요약 벤치마크에서 LILO 는 자연어 피드백을 사용하여 디코딩 매개변수를 성공적으로 최적화했으며, 최대 오라클 피드백을 가진 기준 모델과 동등한 성능을 달성했습니다.

5. 중요성 및 주장

본 논문은 LILO 가 복잡하고 주관적인 목적을 가진 문제에 대해 베이지안 최적화를 접근 가능하게 만드는 중요한 진전이라고 주장합니다. LLM 을 풍부한 비구조화된 언어를 구조화된 선호도 신호로 변환하는 지원 역할에 배치함으로써, 이 프레임워크는 샘플 효율성, 안정성, 보정된 불확실성이라는 전통적 BO 의 장점을 유지하면서도 유연하고 정보 밀도가 높은 피드백 채널을 제공합니다.

저자들은 LILO 가 명시적 목적 함수가 없거나 형식화하기 어려운 복잡한 다중 지표 트레이드오프 (예: 온라인 실험, 설계 최적화) 가 있는 실제 환경에 특히 적합하다고 강조합니다. LILO 는 피드백이 제한된 환경에서 탁월한 성능을 발휘하지만, 매우 긴 시간 범위에서는 정량적 기준 모델과 성능이 수렴할 수 있음을 인정하며, 향후 연구에서는 비구조화된 언어와 구조화된 정량적 피드백을 결합한 하이브리드 접근법을 탐구할 수 있음을 시사합니다.

결과 재현을 위한 코드는 https://github.com/facebookresearch/lilo에서 제공됩니다.