Co-design of LLM-based preference agents: participation may drive overtrust

기술 요약: LLM 기반 선호 에이전트의 공동 설계(Co-design)

문제 제기
대규모 언 모델(LLM)은 연구 및 자율 에이전트로서 인간의 선호를 시뮬레이션하는 데 점점 더 많이 활용되고 있으며, 이는 검증, 왜곡, 고정관념, 그리고 진정한 인간의 목소리 배제에 관한 중대한 우려를 낳고 있습니다. 에이전트와 그 에이전트가 대변하는 사용자 간의 공동 설계(co-design)가 정렬(alignment)과 신뢰를 보장하기 위한 해결책으로 제안되지만, 참여적 과정이 체계적인 불일치를 은폐할 위험이 있습니다. 구체적으로, 본 논문은 투명성과 참여가 내재된 공동 설계가 '과잉 신뢰 엔진(overtrust engine)'을 생성하여, 사용자가 독립적이고 집계적인 수준에서는 존재하지 않는 높은 충실도와 정렬을 인지하게 만드는지 조사합니다. 이러한 문제는 가구 에너지와 같이 에이전트가 복잡한 결정에 영향을 미칠 수 있고, 사용자가 확립된 견해를 갖지 못해 자신의 선호가 단순히 표현되는 것이 아니라 형성될 가능성이 있는 영역에서 특히 두드러집니다.

연구 방법론
본 연구는 영국 기반의 가구 에너지 사용 분야의 참가자 12명을 대상으로 참여적 혼합 방법론(participatory mixed-methods)을 채택하였습니다. 연구 과정은 다음과 같은 3단계 워크플로우를 따릅니다:

1. 배경 설문조사: 참가자들은 인구통계학적 특성, 가치관(Schwartz 척도), 성격(TIPI), 에너지 관련 행동을 파악하는 설문조사를 완료하여 잠정적인 에이전트 설명을 생성했습니다.
2. 공동 설계 인터뷰: 연구자는 Microsoft 365 Copilot(GPT-5)의 보안 인스턴스를 사용하여 설문 데이터를 바탕으로 잠정적인 에이전트 설명을 생성했습니다. 참가자들은 이 설명을 검토, 수정 및 정교화했습니다. 그 후 참가자들은 가상의 에너지 시나리오를 대상으로 에이전트를 테스트했습니다. 만약 참가자와 에이전트 사이에 유의미한 차이가 발생할 경우, 충실도를 높이기 위해 에이전트의 설명을 반복적으로 업데이트했습니다.
3. 검증 설문조사: 독립적인 평가 단계로, 참가자와 최종 확정된 에이전트에게 새로운 에너지 시나리오 세트를 제시했습니다. 이를 통해 공동 설계 단계에서의 주관적 인지와 별개로, 인간과 에이전트의 응답을 나란히 비교하여 정렬 상태를 객적으로 측정했습니다.

데이터 분석에는 인터뷰 녹취록에 대한 주제 분석(NVivo 사용)과 검증 설문 응답의 질적/양적 비교가 포함되었습니다. 본 연구는 혼합 방법론 및 질적 보고를 위한 GRAMMS 및 COREQ 가이드라인을 준수했습니다.

주요 결과

• 주관적 정렬 vs. 객관적 정렬: 인지된 정렬과 독립적으로 평가된 정렬 사이에 상당한 격차가 존재했습니다. 12명 중 10명의 참가자는 자신의 에이전트가 자신의 선호를 잘 대변한다고 강력하게 동의했습니다. 그러나 독립적인 검증 결과, 에이전트는 방향성과 추론 측면에서 인간의 응답과 자주 어긋나는 등 혼합된 정렬 상태를 보였습니다.
• 체계적인 에이전트 특성: 에이전트의 응답은 인간 표본에 비해 현저히 더 **동질적(homogeneous)**이고, 단호하며(decisive), **추상적(abstract)**이었습니다.
  • 에이전트는 인간이 선택하는 "둘 다 아님(neither)" 옵션을 거의 선택하지 않았습니다.
  • 에이전트는 "다소 그렇다"보다 "매우 그렇다"와 같은 강한 응답을 선호했습니다.
  • 에이전트는 고차원적인 원칙(예: 투명성, 선택권)에 의존한 반면, 인간은 개인적인 상황(예: 가족의 필요, 특정 활동)에 근거하여 응답했습니다.
• "과잉 신뢰 엔진": 본 연구는 참여가 과잉 신뢰를 유도하는 메커니즘을 확인했습니다. 이는 다음 요소들에 의해 촉진됩니다:
  • 바넘/포러 효과(Barnum/Forer Effect): 참가자들은 공동 설계 과정으로 인해 일반적이고 그럴듯한 에이전트의 진술을 매우 개인화된 것으로 받아들였습니다.
  • 이케아 효과(IKEA Effect): 참가자들은 자신이 에이전트를 구축하는 데 도움을 주었기 때문에 에이전트를 더 높게 평가했습니다.
  • 사회적 바람직성 편향(Social Desirability Bias): 참가자들은 자신의 초기 입장과 모순되더라도, 자신의 견해를 더 "나은" 혹은 더 사회적으로 수용 가능한 형태로 표현하는 에이전트의 의견에 종종 동의했습니다.
  • 제한된 테스트: 반복적인 정교화 과정은 참가자들이 인터뷰 중에 정렬된 결과만을 보도록 보장함으로써, 보이지 않는 시나리오에 대한 에이전트의 일반화 능력 부재를 은폐했습니다.
• 선호의 가소성(Preference Plasticity): 몇몇 사례에서 참가자들은 에이전트의 응답에 맞추어 자신의 견해를 업데이트했는데, 이는 에이전트가 단순히 선호를 대변하는 것이 아니라 적극적으로 형성하고 있음을 시사합니다.

주요 기여

1. "과잉 신뢰 엔진"의 식별: 본 논문은 선호 에이전트 설계에서 공동 설계 과정 자체가 정렬을 촉진하면서도 체계적인 불일치를 은폐하는 메커니즘으로 작용할 수 있다고 제안합니다. 정렬은 공동 설계를 통해 달성되는 고정된 상태가 아니라, 설계 인터페이스에 의해 조작될 수 있는 실행된 과정으로 간주되어야 한다고 주장합니다.
2. 동질화의 실증적 증거: 본 연구는 에이전트가 특정 개인과 공동 설계되더라도, 인간 선호의 다양성을 평탄화하는 모델 기본 동작(동질성, 단호함)으로 회귀하는 경향이 있다는 실증적 증거를 제공합니다.
3. 검증의 재정의: 본 논문은 사용자 인지 정렬이 검증으로서 충분하다는 관점에 도전합니다. 검증자가 사용자 자신일 때, 인간 선호의 가소성과 에이전트가 선호에 미치는 영향으로 인해 "지면 진실(ground truth)"은 불안정하다는 것을 입증합니다.
4. 방법론적 통찰: 본 연구는 공동 설계 인터뷰가 사용자 우선순위를 드러내고 오표현에 도전할 수 있는 풍부한 데이터 수집 방법인 동시에, 에이전트를 연구 대리인으로 사용하는 것의 한계를 드러내는 방법임을 강조합니다.

의의 및 주장
본 논문은 공동 설계가 인간의 참여를 유지하고 오표현에 대응할 수 있게 하는 가치 있는 과정이지만, 알고리즘의 충실도를 보장하지는 않는다고 주장합니다. 주요 의의는 참여와 과정의 투명성이 구조적 불일치를 가리는 베일로 작용할 수 있다는 경고에 있습니다.

만약 대규모로 배포될 경우, (과잉 신뢰 엔진 덕분에) 개별 사용자에게 잘 봉사하는 것처럼 보이는 에이전트들이 집합적으로 시장, 서비스 및 정책 입안자들에게 전달되는 선호의 다양성을 평탄화할 수 있습니다. 이는 에이전트가 진정한 개인의 미묘한 차이가 아닌 학습 데이터와 사후 학습 정렬(RLHF)에 의해 유도됨으로써, 개별 사용자에게는 보이지 않는 상태에서 체계적으로 결과를 왜곡하는 구조적 위험을 창출합니다. 본 논문은 선호 에이전트가 실행 가능하려면, 초기 공동 설계 단계에만 의존하기보다 지속적인 독립적 검증과 인간의 감독이 전제 조건이 되어야 한다고 결론짓습니다.