기술 요약: LLM은 무엇을 언제 물어야 할지 아는가? 다회차 정보 탐색(Multi-Turn Information Seeking)에 대한 평가

1. 문제 정의

본 논문은 다회차 상호작용에서 과소지정(underspecification) 상황 하에 작동하는 대규모 언어 모델(LLM)의 능력을 다룬다. 모호함(사용자의 의도가 불분명한 경우)과 달리, 과소지정은 사용자의 과업이 명확히 정의되어 있으나 타겟을 결정하기 위한 정보가 충분하지 않은 상황을 의미한다. 유능한 모델은 자신의 컨텍스트가 불충분함을 인지하고, 타겟을 해결하기 위해 필요한 구체적인 누락 정보를 식별하며, 순차적인 질의를 통해 이를 획득하고, 획득한 정보가 답을 유일하게 결정할 때에만 응답해야 한다.

현재의 평가 방식은 모델의 정답 생성 능력과 정보 탐색 능력을 종종 혼동한다. 최종 과업 성공은 진정한 정보 획득이 아닌 추측이나 사전 지식에 의존하여 달성될 수 있기 때문이다. 저자들은 이 과제를 $k$개의 변수가 타겟 변수를 결정하는 데 공동으로 필요한 **$k$-과소지정 제약 충족 문제(Constraint Satisfaction Problem, CSP)**를 해결하는 것으로 공식화한다. 여기서 $k$는 필요한 변수의 수를 나타낸다.

2. 방법론: MT-INFOSEEK 프레임워크

저자들은 수학, 논리, 생물학, 의학, 일반 지식(20질문 게임을 통해)의 5개 도메인에 걸친 5,251개의 문제와 9,006개의 태스크 인스턴스로 구성된 통제된 평가 스위트인 MT-INFOSEEK를 소개한다.

2.1 공식화

문제는 튜플 $P = \langle X, D, C, A, Y \rangle$로 정의된다:

• $X$: 도메인 $D$를 가진 변수들의 집합.
• $C$: 논리적 제약 조건.
• $A$: 관찰된 부분 할당(초기 컨텍스트).
• $Y$: 타겟 변수.
• 과소지정: $A$와 $C$에 의해 $Y$가 유일하게 결정되지 않으면 문제는 과소지정된 것이다.
• 최소 $k$-충분 집합 ($k$-MSS): 미할당 변수들의 부분 집합 $S$로서, 크기가 $k$이며 이들의 값을 아는 것이 $Y$를 유일하게 결정하고, 더 작은 부분 집합으로는 불가능한 집합.
• 태스크 인스턴스: $y$가 $Y$의 숨겨진 실제 값(ground-truth value)인 특정 실현체 $(P, y)$.

2.2 평가 프로토콜

프레임워크는 정보 탐색과 정답 생성을 분리하여 세 가지 축을 따라 모델을 평가한다:

1. $k$-예측: $P$가 주어졌을 때, 모델은 과소지정의 정도($\hat{k}$)를 예측한다.
2. 누락 변수 식별: $P$(및 선택적으로 실제 $k$)가 주어졌을 때, 모델은 최소 충분 집합을 선택한다.
3. 순차적 과업 해결: 모델은 오라클(oracle)과 여러 차례 상호작용하며, 한 번에 하나의 변수를 질의하고, 값을 관찰하며, 언제 멈추고 답할지를 결정한다.

2.3 데이터셋

• 구조화된 도메인 (Logic-Q-MT, GSME-Q-MT/Ext, GeneReg-MT, ClinGuide-MT): 변수와 제약 조건이 미리 정의되어 있다. 모델은 질의 가능한 유한한 변수 집합 내에서 선택한다.
  • Logic-Q-MT: 논리적 추론 문제를 다회차 설정으로 확장하였다.
  • GSME-Q-MT/Ext: 마스킹된 수치를 포함한 초등 수학 문제이며, Ext 버전은 더 깊은 의존 구조를 특징으로 한다.
  • GeneReg-MT: 불리언 유전자 조절 네트워크로, 모델은 정상 상태(steady states)를 결정하기 위해 초기 상태를 식별해야 한다.
  • ClinGuide-MT: 진단 결정 트리로, 조건부 의존성 때문에 질의 순서가 중요하다.
• 비구조화된 도메인 (20Q): 모델은 후보 집합으로부터 숨겨진 타겟을 추론하기 위해 자유 형식의 예/아니오 질문을 생성한다.

2.4 지표

결정적으로, 본 논문은 **최종 충분성(Final Sufficiency)**을 주요 지표로 도입한다. 이는 모델의 최종 답변이 정답인지와 무관하게, 획득한 정보(질의된 변수 집합)가 타겟을 유일하게 결정하는지를 측정한다. 이는 정보 획득 능력과 정답 생성 능력을 분리한다. 다른 지표로는 질의 커버리지, 순서 정확도(ClinGuide-MT), 질문 정보성(20Q에서의 정규화된 기대 정보 이득) 등이 있다.

3. 주요 결과

평가는 폐쇄형 및 오픈 웨이트 LLM(예: GPT-5, Gemini-3, Qwen3, gpt-oss)을 대상으로 수행되었다.

3.1 누락된 정보의 과소평가

• 모델들은 일반적으로 컨텍스트가 불충분하다는 점을 인지하지만(과소지정된 문제에 대해 $k=0$을 예측하는 경우는 드묾), 과소지정의 정도를 체계적으로 과소평가한다.
• 정확도는 $k$가 증가함에 따라 급격히 떨어진다. 특히 논리 문제(Logic-Q-MT)에서 $k = 2$일 때, 모델은 과대평가하는 경우보다 누락된 정보의 정도를 과소평가하는 경우가 4배 더 많았다.

3.2 최소 충분 집합 식별 실패

• 실제 $k$가 제공되더라도, 모델은 최소 충분 집합을 형성하는 특정 변수를 식별하는 데 어려움을 겪는다. 정확한 집합 일치율(exact-set accuracy)은 낮으며($k=2$에서 0.4 미만), $k$가 높아질수록 더 낮아진다.
• 얼마나 많은 정보가 누락되었는지 추정하는 것이 어떤 정보가 필요한지를 아는 것을 의미하지는 않는다.

3.3 상호작용 역학 및 회복

• 턴 예산 (Turn Budget): 모든 질의를 한 번에 수행하는 것보다 여러 턴에 걸쳐 질의를 할당하는 것이, 모델이 조기에 중단하지 않는다는 전제하에 최종 충분성을 개선하는 데 일반적으로 유리하다.
• 회복 (Recovery): 최소 충분 집합을 놓친 첫 번째 턴의 질의는 회복 가능한 경우가 많다. 첫 번째 질의가 틀렸더라도 모델이 관련 변수를 계속 탐색하는 상호작용은 올바른 첫 번째 질의를 가졌던 경우와 유사한 수준의 충분성에 도달한다.
• 후반 턴 성능: 고도로 과소지정된 문제($k \ge 3$)의 경우, 성공 여부는 초기 턴의 정확도보다는 지속적인 정보 획득과 후반 턴의 질의 정확도에 달려 있다.

3.4 순서와 통합의 중요성

• 순서 의존성: 임상 과업(ClinGuide-MT)에서 필요한 변수들을 모두 획득하더라도, 잘못된 순서로 질의하면 최종 정확도가 크게 감소한다.
• 증거 통합: 20Q에서 질문 정보성(기대 정보 이득)이 유사한 모델들 사이에서도 최종 정확도에는 상당한 차이가 나타난다. 이는 성공이 단순히 좋은 질문을 던지는 것뿐만 아니라, 답변을 효과적으로 통합하여 후보 공간을 좁히는 능력에 달려 있음을 시사한다.
• 엔트로피 감소: 모델들은 일반적으로 불확실성을 줄여나가지만, 후반 턴에서 정체되는 경향이 있으며, 서로 밀접하게 연관된 남은 후보들을 구분해내지 못한다.

4. 기여 및 의의

본 논문은 세 가지 주요 기여를 한다:

1. 공식화: 다회차 정보 탐색을 $k$-과소지정 CSP를 해결하는 것으로 공식화하여, 필요한 변수와 충분 시점에 대한 그라운드 트루스를 제공한다.
2. 벤치마크 (MT-INFOSEEK): 수학, 논리, 생물학, 의학, 일반 지식을 아우르는 포괄적인 평가 스위트를 도입하여, 과소지정의 정도를 통제된 방식으로 변화시킬 수 있게 한다.
3. 평가 방법론: 정보 획득 능력과 정답 생성 능력을 분리하기 위해 최종 충분성이라는 지표를 제안한다.

의의:
저자들은 최종 정확도에 의존하는 현재의 LLM 평가가 상호작용 역량을 포착하지 못한다고 주장한다. 모델은 추측이나 사전 지식을 사용하여 정답을 맞힐 수 있지만, 정작 누락된 정보를 식별하지 못할 수도 있다. MT-INFOSEKIF는 획득한 정보가 실제로 타겟을 결정하는지를 측정함으로써, 현재의 모델들이 다음과 같은 한계를 가짐을 밝혀낸다:

• 누락된 정보의 복잡성을 과소평가한다.
• 최소 질의 전략을 계획하는 데 실패한다.
• 충분한 정보를 얻기 전에 종종 멈춘다.
• 순서 의존성과 증거 통합에 어려움을 겪는다.

본 논문은 정보를 찾는 능력은 정답 생성 능력과는 별개의 능력이며 기존 벤치마크로는 충분히 측정되지 않는다고 결론짓는다. 이 연구는 모델이 어디에서 실패하는지를 이해하기 위한 진단 프레임워크를 제공하며, 향후의 개선이 단순한 추론 능력이 아닌, 과소지정을 인지하고 순차적인 정보 획득을 계획하는 것에 집중되어야 함을 시사한다.