기술 요약: SELECT-LLM

문제 정의

대형 언어 모델 (LLM) 의 급속한 확산은 상당한 모델 선택 과제를 야기했습니다. 현대의 LLM 은 강력한 제로샷 (zero-shot) 능력을 갖추고 있지만, 상대적 성능은 도메인, 작업, 언어에 따라 크게 달라지는 등 맥락에 매우 의존적입니다. 특정 애플리케이션에 최적의 LLM 을 식별하려면 일반적으로 고정된 벤치마크 세트에 대해 후보 모델을 평가해야 합니다. 그러나 표준 벤치마킹은 새로운 모델 출시보다 벤치마크가 뒤처지고 도메인별 요구 사항을 반영하지 못할 수 있어 선택에 점점 더 사용하기 어려워지고 있습니다.

보다 실용적인 대안은 쿼리의 작고 주석이 달린 부분 집합을 사용하여 최상의 모델을 선택하는 것입니다. 그러나 이러한 부분 집합을 무작위 또는 휴리스틱 기반으로 선택하면 주석 예산을 비효율적으로 사용하고 후보 간 의미 있는 성능 차이를 드러내지 못하는 경우가 많습니다. 능동 학습 (active learning) 은 분류 작업에 대해 광범위하게 연구되었지만, 생성 설정에 대한 기존 방법은 제한적이며, 종종 두 모델 간의 비교로 제한하거나 임의의 후보 풀에서 선택하는 것이 아닌 단일 모델 테스트에 초점을 맞추는 경향이 있습니다. 해결하려는 핵심 문제는 제한된 주석 자원 하에서 목표 작업과 데이터 분포에 대해 가장 적합한 LLM 을 신뢰할 수 있게 식별하는 방법입니다.

방법론: SELECT-LLM

저자들은 LLM 의 능동적 모델 선택을 위한 프레임워크인 SELECT-LLM을 제안합니다. 목표는 $n$개의 주석 없는 쿼리 풀에서 $b$개의 작은 쿼리 집합 ($b \ll n$) 을 선택하여, 해당 쿼리에 대한 주석이 최상의 모델에 대한 불확실성을 최대한 줄이도록 하는 것입니다.

공식화

이 문제는 최상의 모델의 알려지지 않은 정체성 ($F$) 과 획득한 주석 ($A$) 사이의 상호 정보 (mutual information) 를 최대화하는 것으로 설정됩니다. 저자들은 최상의 모델을 지면 참조 (ground-truth references) 에 대해 평가되었을 때 쿼리 세트에서 평균 성능 점수가 가장 높은 모델로 정의합니다.

이를 실현 가능하게 만들기 위해, 모델 출력의 확률이 온도 매개변수 $\tau$에 의해 지배되는 참조 답변과의 유사도에 비례한다는 확률적 공식을 채택합니다. 목표는 기대 정보 이득을 최대화하는 쿼리를 선택하는 것입니다:
$$A_{opt}[b] = \arg \max_{A \subseteq \{(q_i, r_i)\}, |A| \le b} I(F; A)$$

알고리즘 및 근사

개방형 생성의 경우 무한한 참조 공간으로 인해 정보 이득의 직접 계산은 실현 불가능합니다. SELECT-LLM 은 세 가지 주요 근사를 통해 실현 가능한 선택 규칙을 유도합니다:

1. 테일러 근사: 상호 정보 목표의 로그 항을 2 차 테일러 급수로 근사하여, 목표를 쌍별 비교를 포함하는 2 차 형식으로 변환합니다.
2. 선형화: 확률 모델은 국소적으로 선형화되어, 확률의 차이를 모델 출력과 잠재적 참조 간의 유사도 점수 차이로 대체합니다.
3. 유사도 대체: 가능한 참조 응답에 대한 평균은 후보 모델 출력 자체 간의 비유사도로 근사됩니다.

이로 인해 다음 쿼리 $q_t$를 선택할 때 후보 모델 출력 간의 사후 가중 쌍별 유사도를 최소화하는 탐욕적 선택 규칙 (식 5) 이 도출됩니다:
$$q_t = \arg \min_{q \in U_t} \sum_{j=1}^{m} \sum_{k=1}^{m} P(F = f_j | A_t) P(F = f_k | A_t) s(f_j(q), f_k(q))$$
직관적으로, 이 알고리즘은 가장 그럴듯한 후보 모델들이 가장 상이한 응답을 생성하는 쿼리를 우선시하여 단일 주석으로부터 얻는 정보를 최대화합니다.

모델 중립성

SELECT-LLM 의 중요한 특징은 생성된 모델 응답에만 의존한다는 점입니다. 모델 가중치, 로짓 (logits), 또는 내부 상태에 대한 접근이 필요하지 않습니다. 이로 인해 이 프레임워크는 오픈 가중치 모델과 블랙박스 (API 전용) LLM 모두에 적용 가능합니다.

매개변수 선택

사후 분포의 날카로움을 제어하는 온도 매개변수 $\tau$는 오라클 주석이 필요 없이 능동 선택 과정 전에 선택됩니다. 저자들은 모델 응답 간의 쌍별 유사도에서 도출된 노이즈가 있는 프록시 신호를 사용하여 그리드 검색을 수행하고, 가장 좋은 식별 성능을 제공하는 $\tau$를 식별합니다.

주요 기여

1. 최초 공식화: 저자들의 지식에 따르면, 이는 제한된 주석 예산 하에서 LLM 을 위한 능동적 모델 선택에 대한 최초의 공식화 및 연구입니다.
2. SELECT-LLM 프레임워크: 정보 이득을 최대화하기 위해 쿼리를 탐욕적으로 선택하는 원칙적이고 모델 중립적인 프레임워크입니다. 이는 내부 모델 접근이 필요하지 않도록 모델 출력 간의 쌍별 유사도에 기반한 실현 가능한 근사를 유도합니다.
3. 종합 평가: 이 프레임워크는 여러 참조 기반 지표 (BERTScore, ROUGE, BLEU, F1, Exact Match 등) 를 사용하여 추론, QA, 요약, 번역 등을 포함하는 23 개의 다양한 데이터셋과 오픈 소스 및 API 전용 모델을 포함한 156 개의 평가된 모델에 대해 검증되었습니다.

결과

평가 결과, SELECT-LLM 은 모든 설정에서 적응된 베이스라인 전략 (Random, Margin, Min Agreement, VMA, AMC 포함) 보다 일관되게 우수한 성능을 보였습니다:

• 최적 모델 식별: SELECT-LLM 은 가장 강력한 베이스라인보다 훨씬 적은 주석으로 실제 최상의 모델을 식별합니다. 주석 비용 절감률은 (예: ROUGE-L 을 사용한 XSum 데이터셋에서) 최대 **81.8%**에 달했습니다.
• 최상위 모델 선택: 목표가 최상의 모델과 작은 성능 격차 ($\delta$) 이내의 모델을 식별하는 것으로 완화될 때, SELECT-LLM 은 더 높은 효율성을 달성하며 주석 절감률은 최대 **84.78%**에 이릅니다.
• 강건성: 95 백분위수 성능 격차 (선택된 모델과 실제 최상의 모델 간의 최악의 차이) 측면에서 SELECT-LLM 은 데이터셋과 식별 확률 수준 (70%, 80%, 90%, 100%) 전반에 걸쳐 일관되게 가장 낮은 격차를 유지하여 어려운 실현 상황에서도 강건함을 나타냅니다.
• 일반화: 이 방법은 다양한 작업 계열과 평가 지표에서 잘 작동하여 특정 점수 규칙이나 도메인에 종속되지 않음을 보여줍니다.

중요성 및 주장

이 논문은 SELECT-LLM 이 현실적인 블랙박스 설정에서 능동적 모델 선택을 위한 실용적인 접근 방식을 제공한다고 주장합니다. 모델 출력과 외부 오라클에만 의존함으로써, 이 방법은 이론적 능동 학습과 현대 LLM 배포의 실용적 제약 사이의 간극을 메웁니다.

저자들은 이 방법이 모델 선택을 위한 주석 비용을 크게 줄이지만, 특정 가정 하에서 작동한다고 지적합니다:

• 노이즈가 있는 인간 선호도나 LLM-as-a-Judge 시스템이 아닌 신뢰할 수 있는 오라클 신호 (참조 기반 평가) 를 가정합니다.
• 후보 풀과 쿼리 풀이 선택 시작 전에 고정되어 있다고 가정합니다.

이 연구는 효율적인 선택이 LLM 의 엄격한 비교를 더 접근 가능하게 만들 수 있음을 강조하지만, 특히 안전이 중요한 도메인에서 편향된 주석이나 평가 기준이 편향된 모델 선택으로 이어질 수 있음을 경고합니다. 저자들은 이를 보다 효율적이고 신뢰할 수 있는 LLM 평가 프로토콜을 향한 기초적인 단계로 위치시킵니다.