기술 요약: 생성형 AI 에서 질문을 언제 해야 하는가

문제 제기

대규모 언어 모델 (LLM) 을 포함한 생성형 AI 모델은 사용자에게 다양한 수준의 구체성을 가진 입력을 제공할 수 있게 함으로써 전통적인 추천 시스템과 구별됩니다. 이러한 유연성은 종종 사용자가 세부 정보를 생략하게 만들어, 모델이 인구 수준의 분포 지식을 기반으로 누락된 정보를 추론하도록 강제합니다. 이러한 추론은 편의성을 제공하지만, 다수 의견에 유리하게 작용하고 비전형적인 선호도를 가진 사용자를 불리하게 만들어 알고리즘적 동질화와 공정성 문제를 초래할 수 있습니다.

피드백이 종종 암시적 (예: 클릭) 인 전통적인 시스템과 달리, 생성형 AI 는 명시적인 상호작용을 가능하게 합니다. LLM 은 자연어 질의를 통해 누락된 정보를 적극적으로 요청할 수 있습니다. 그러나 근본적인 트레이드오프가 존재합니다. 즉, 더 많은 정보를 수집하면 개인화와 공정성이 향상되지만, 효율성을 중시하는 사용자에게는 부담이 됩니다. 본 연구의 핵심 문제는 사용자 부담과 선호도 표현 사이의 균형을 맞추기 위해 AI 시스템이 언제 그리고 얼마나 많은 정보를 요청해야 하는지를 결정하는 것이며, 이는 효용, 공정성, 그리고 출력 다양성에 미치는 영향을 구체적으로 분석합니다.

방법론

저자들은 이 트레이드오프를 공식화하기 위해 사용자-LLM 상호작용의 스타일화된 이론적 모델을 개발했습니다.

1. 선호도 생성 모델

사용자 선호도는 $n$개의 이진 특성 벡터로 모델링됩니다. 인구는 반대되는 기본 선호도 (모든 0 또는 모든 1) 를 가진 두 개의 클러스터 (클러스터 0 과 클러스터 1) 로 나뉩니다.

• 클러스터 할당: 사용자는 확률 $\alpha$로 클러스터 0 에, 확률 $1-\alpha$로 클러스터 1 에 할당됩니다.
• 노이즈: 각 특성은 확률 $p < 0.5$로 독립적으로 뒤집힙니다.
• 상관관계: 이 구조는 선호도가 상관되어 있다는 직관을 포착합니다. 즉, 한 차원에서의 사용자 선호도를 알면 다른 차원을 추론하는 데 도움이 됩니다.

2. 상호작용 프로토콜

• 초기 상태: 사용자는 초기 프롬프트를 제공하지만, LLM 은 사용자의 전체 선호도 벡터를 알지 못합니다.
• 질문: LLM 은 사용자에게 직접 $k$개의 특성 ($0 \le k < n$) 을 질문합니다.
• 추론: $k$개의 공개된 비트와 알려진 분포 매개변수 ($\alpha, p$) 를 기반으로 LLM 은 나머지 $n-k$개의 특성을 추론하여 출력을 생성합니다.
• 효용 함수: 사용자 효용은 $U(k, B) = n - k - B$로 정의되며, 여기서 $k$는 질문 수 (비용) 이고 $B$는 잘못 추측된 특성의 수 (불일치) 입니다.

3. 최적화 목표

본 논문은 두 가지 구별되는 최적화 목표를 분석합니다.

• 공리주의적 후생 ($\gamma = 0$): 인구 전체에 걸친 기대 효용을 최대화합니다.
• 불평등 회피적 후생 ($\gamma > 0$): 불평등 회피 (예: 내시 후생 또는 최대최소 공정성) 를 포함하는 사회적 후생 함수를 최대화합니다. 매개변수 $\gamma$는 형평성과 효율성 사이의 트레이드오프를 조절합니다.

주요 기여 및 결과

1. 최적 응답 정책 (추론)

• 공리주의적 경우: 최적 전략은 공개된 비트를 기반으로 사용자의 가능한 클러스터를 식별하고, 나머지 특성을 해당 클러스터와 일치하도록 추측하는 것입니다.
• 공정성 인식 경우: 불평등 회피 ($\gamma$) 가 증가함에 따라 최적 응답 정책은 다수를迎合하는 것에서 '헤지 (hedging)'로 전환됩니다. LLM 은 가장 확률이 높은 추론을 엄격히 따르는 대신, 서로 다른 클러스터의 선호도를 균형 있게 반영하는 혼합 출력을 생성합니다. 최대최소 공정성 ($\gamma \to \infty$) 하에서 정책은 소수 사용자에게 최악의 결과를 피하기 위해 공개된 비트의 특정 구성에 매우 민감해집니다.

2. 최적 질문 정책 (정보 수집)

• 공리주의적 트레이드오프: 최적 질문 수 $k$는 노이즈 ($p$) 에 대해 단조롭지 않습니다. 신호가 너무 노이즈가 많으면 ($p \approx 0.5$), 질문을 하는 비용이 더 나은 추론의 이점을 초과하여 $k=0$이 됩니다. 반대로, 신호가 신뢰할 수 있으면 질문을 통해 효용이 향상됩니다.
• 다수 편향: 순수 공리주의적 최적화 하에서, 한 클러스터가 현저히 크다면 (예: $\alpha$가 1 에 가까움), 모델은 소수 사용자에게도 최적적으로 $k=0$을 선택합니다. 이는 소수 그룹을 명확히 하는 데서 얻는 기대 이득이 전체 비용을 상쇄하지 못하기 때문입니다. 이는 체계적으로 소수 선호도를 소외시킵니다.
• 공정성 주도 수집: 불평등 회피적 후생을 최적화할 때 최적 $k$는 변화합니다. 초기에는 $\gamma$가 증가함에 따라 모델이 소수 사용자를 더 잘 구분하기 위해 더 많은 질문을 합니다. 그러나 매우 높은 $\gamma$(최대최소) 의 경우, 최적 전략은 노이즈 수준에 따라 질문을 줄이거나 아예 하지 않는 것으로 돌아갈 수 있습니다. 이는 최악의 시나리오에서 질문 비용이 한계 효용 증가분을 초과할 수 있기 때문입니다.

3. 다양성과 동질성

본 논문은 공정성이 항상 더 높은 출력 다양성으로 이어진다는 직관에 도전합니다.

• 비단조성: LLM 출력 분포의 엔트로피는 $\gamma$에 대해 단조롭지 않습니다.
• 메커니즘: 중간 수준의 불평등 회피는 모델이 더 많은 질문을 하도록 유도하여 더 많은 정보를 수집하고 다양한 출력을 생성함으로써 다양성을 증가시킬 수 있습니다. 그러나 극단적인 회피 수준에서는 모델이 사용자 부담을 피하거나 한계 효용 감소로 인해 정보 수집을 중단하여, 출력 다양성을 감소시키는 결정론적인 '안전한' 추측으로 이어질 수 있습니다. 따라서 공정성과 다양성 사이의 관계는 모델의 정보 수집 행동에 의해 매개됩니다.

4. 실증적 검증

스시 선호도 데이터셋 (10 개 항목을 순위 매긴 5,000 명의 사용자) 을 사용하여 저자들은 이론적 예측을 검증했습니다.

• 후생 vs. 질문: 불평등 회피 매개변수 $\gamma$가 증가함에 따라 최적 질문 수 $k$가 증가했습니다 (실험에서 4 에서 10 으로), 이는 공리주의적 균형에서 완전한 선호도 수집으로 전환되었습니다.
• 공정성 - 효용 프론티어: $k$를 증가시키면 지니 계수 (불평등) 가 감소하지만, 질문 비용으로 인해 평균 효용은 감소했습니다. 최적 $k$는 선택된 $\gamma$에 전적으로 의존합니다.

중요성 및 주장

본 논문은 상호작용형 생성형 AI 의 트레이드오프를 이해하기 위한 공식적 프레임워크를 제공한다고 주장합니다. 그 주요 중요성은 다음을 입증하는 데 있습니다.

1. 공정성 도구로서의 정보 수집: 전략적 질문은 선호도 추론에 내재된 체계적 편향을 완화하여 생성형 도구가 다양한 관점을 더 잘 반영할 수 있게 합니다.
2. 맥락 의존적 전략: 보편적인 '최적' 질문 수는 존재하지 않습니다. 최적 전략은 사용자 데이터의 노이즈 수준, 선호도 클러스터의 크기, 그리고 시스템의 공정성 관련 목적 함수에 따라 달라집니다.
3. 다양성의 복잡성: 공정성을 최적화한다고 해서 자동으로 다양한 출력이 보장되는 것은 아닙니다. 이 관계는 시스템이 얼마나 많은 정보를 수집하기로 선택하는지에 의해 매개됩니다.

저자들은 자신의 주장에 대해 겸손함을 유지하며, 그들의 모델이 선호도의 매우 스타일화된 베르누이 혼합에 의존하고 LLM 이 인구 분포에 대한 완벽한 지식을 가진다고 가정한다고 인정합니다. 그들은 이 작업을 선호도 추론, 정보 획득, 그리고 공정성 사이의 관계를 이해하기 위한 첫걸음으로 위치시키며, 향후 연구는 더 복잡한 선호도 구조와 정보에 대한 차별적 비용을 탐구해야 한다고 제안합니다.