Nudging Sustainable Choices through LLM-Generated Recommendation Explanations

기술 요약: LLM 생성 추천 설명을 통한 지속 가능한 선택 유도(Nudging)

문제 정의
추천 시스템(RS)은 글로벌 소비 패턴에 상당한 영향을 미치며, 이는 사용자를 UN 지속가능발전목표(SDGs)와 부합하는 지속 가능한 선택으로 유도할 수 있는 결정적인 기회를 제공한다. 선행 연구들은 설명(explanation)이 의사결정을 개선할 수 있다고 제안하지만, 기존의 지속 가능성 인지 설명은 대부분 정적이고 템플릿 기반이며, 콘텐츠를 개인화하는 능력이 제한적이다. 또한, 개인화된 환경에서 이러한 설명의 효과성에 대한 실증적 근거는 부족한 실정이다. 단순히 지속 가능성 정보를 공개하는 것만으로 충분한지, 아니면 정보의 제시 방식(행동 경제학적 너징 메커니즘을 통한)이 필요한지에 대한 핵심적인 격차가 존재한다. 아울러, 이러한 효과가 다양한 관여도 수준(예: 저관여 일상적 구매 vs 고관여 여행 예약)을 가진 도메인 전반에 걸쳐 일반화될 수 있는지 여부도 불분명하다.

연구 방법론
저자들은 두 가지 서로 다른 도메인, 즉 저관여 도메인(인스턴트 커피, $n=262$)과 고관여 도메인(호텔 예약, $n=267$)에 걸쳐 두 차례의 무작위 사용자 연구($N=529$)를 수행하였다.

• 실험 설계: 본 연구는 네 가지 조건의 피험자 간 설계(between-subjects design)를 채택하였다. 참가자들은 먼저 명시적 선호도(예: 로스트 정도, 호텔 시설)를 도출하였으며, 이는 선호도가 매칭된 추천 항목을 생성하는 데 사용되었다. 각 참가자는 네 개의 아이템(고지속가능성 2개, 저지속가능성 2개)을 할당된 LLM 생성 설명과 함께 보게 되었다.

  • 선호도 전용 베이스라인(Preference-only Baseline): 설명은 사용자 선호도와 아이템 속성 간의 일치성을 기술하되, 지속 가능성 관련 내용은 생략하였다.
  • 메커니즘 미적용(Mechanism-free): 지속 가능성 속성(예: 재활용 가능한 포장재, Green Key 인증)을 행동적 프레이밍 없이 사실적으로만 공개하였다.
  • 프레이밍(Framing): 지속 가능성 속성을 긍정적이고 이득 중심적인 프레임(유익한 결과 강조)을 사용하여 제시하였다.
  • 기술적 사회 규범(Descriptive Social Norms): 유사한 집단의 행동을 인용하여 지속 가능성 속성을 제시하였다(예: "많은 투숙객이 이것을 선택했습니다...").

• 기술적 구현:

  • 추천기(Recommender): 선호 기반 지식 기반 추천기를 사용하여 사용자 진술 특징에 대해 아이템 점수를 산출하였으며, 이를 통해 설명의 효과만을 분리하기 위해 고지속가능성 아이템과 저지속가능성 아이템이 선호도 적합성 측면에서 일치하도록 보장하였다.
  • LLM 생성: 설명은 Claude Sonnet 4.6을 사용하여 실시간으로 생성되었다. 시스템은 핵심 구조(두 문장, 50단어 미만)는 고정하되, 두 번째 문장은 할당된 조건(표 1)에 따라 동적으로 생성되는 프롬프트 엔지니어링 접근 방식을 활용하였다.
  • 검증(Validation): 엄격한 감사 파이프라인을 통해 자극물(stimuli)의 품질을 보장하였다. 여기에는 텍스트 속성(길이, 복잡도)에 대한 통계적 분석, 의도된 메커니즘 및 사실적 충실도 준수 여부를 확인하기 위한 "LLM-as-a-judge" 평가(99.2% 지원율) 및 층화된 하위 집단에 대한 인간 검증이 포함되었다.

• 분석: 저자들은 선택 행동(지속 가능한 아이템 선택)을 분석하기 위해 이항 로지스틱 회귀 분석을 사용하였고, 주관적 평가(만족도, 난이도, 명확성, 사용성, 지속 가능성 영향력)를 위해 선형 회귀 분석을 사용하였다. 모델은 인구통계학적 특성, 도메인 전문성, 생물권 가치 지향성을 통제하였다.

주요 기여

1. 이론에 기반한 LLM 프롬프팅: 본 논문은 행동 너징 이론(프레이밍 및 기술적 사회 규범)을 프롬프트 수준의 템플릿으로 구체화하여, 확장 가능하고 이론에 기반한 개인화된 지속 가능성 설명을 생성할 수 있음을 보여준다.
2. 제시 전략의 실증적 검증: 본 연구는 지속 가능성 정보가 '제시되는가'와 '어떻게 제시되는가'의 효과를 분리한다. 단순히 지속 가능성 내용을 공개하는 것만으로는 행동 변화를 이끌어내지 못하는 반면, 특정 행동적 프레이밍은 변화를 유도한다는 것을 입증한다.
3. 교차 도메인 일반화 가능성: 본 연구는 이러한 효과가 인스턴트 커피(일상적)와 호텔 예약(복잡한) 모두의 관여도 수준에 관계없이 유지됨을 검증하여, 해당 개입이 다양한 수준의 사용자 숙고 과정에 대해 견고함을 보여준다.
4. 인식과 행동의 괴리: 본 연구는 단순한 정보 공개가 시스템에 대한 주관적 인식을 개선하지만 실제 선택 행동을 바꾸지는 못하는 반면, 프레이밍된 설명은 사용자 만족도를 해치지 않으면서 행동을 변화시킨다는 중요한 차이를 강조한다.

결과

• 선택 행동 (RQ1 & RQ2): 지속 가능성을 고려한 설명은 선호도 전용 베이스라인에 비해 지속 가능한 선택 가능성을 높였다. 그러나 이 효과는 전적으로 제시 메커니즘에 의해 주도되었다.
  • 메커니즘 미적용: 지속 가능성 속성을 평이하게 공개하는 것은 약 54%의 지속 가능한 선택률을 보였으며, 이는 베이스라인(~51%)과 통계적으로 차이가 없었다.
  • 프레이밍: 지속 가능한 선택을 **69%**로 증가시켰다 (베이스라인 대비 오즈비(Odds Ratio) = 2.39).
  • 기술적 사회 규범: 지속 가능한 선택을 **67%**로 증가시켰다 (베이스라인 대비 오즈비 = 1.89).
  • 비교: 프레이밍과 사회적 규범 모두 메커니즘 미적용 조건보다 유의미하게 높은 성과를 보였다. 프레이밍이 가장 강력한 효과를 보였으며, 보고된 선택 난이도를 가장 크게 감소시켰다.
• 주관적 평가: 모든 지속 가능성 관련 조건은 베이스라인에 비해 인지된 "지속 가능성 영향력"과 "사용성"을 개선하였다. 그러나 메커니즘 기반 조건(프레이밍 및 규범)만이 "선택 난이도"를 유의미하게 감소시켰다. 결정적으로, 지속 가능성 내용을 추가하는 것이 "선택 만족도"나 "설명 명확성"에 부정적인 영향을 미치지는 않았다.
• 일반화 가능성 (RQ3): 조건과 도메인 간의 상호작용에 대한 통계적 검정은 유의하지 않았으며, 이는 행동 및 경험적 효과가 인스턴트 커피와 호텔 예약 시나리오 모두에서 일관됨을 확인해 준다.

의의 및 주장
저자들은 LLM 생성 설명이 지속 가능한 행동을 유도하는 확장 가능한 도구 역할을 할 수 있지만, 이는 콘텐츠가 확립된 행동 메커니즘을 사용하여 전략적으로 프레이밍될 때만 가능하다고 결론짓는다. 본 논문은 단순히 환경적 사실을 제공하는 것만으로는 개인화된 추천 시스템에서 선택을 변화시키기에 불충분하다는 점을 들어, '정보 결핍(information-deficit)' 모델에 반론을 제기한다. 대신, 정보의 제시 방식—특히 긍정적 프레이밍이나 사회적 규범을 통하는 것—이 의사결정을 용이하게 하고 지속 가능한 선택을 이끄는 핵심 요소이다.

본 연구는 생성형 AI가 사용자의 자율성을 제한하지 않으면서도(옵션을 제한하지 않음으로써) 효과적으로 사회적 선을 향한 행동을 안내하는, 적응적이고 이론에 기반한 개입을 만드는 데 사용될 수 있음을 보여준다. 저자들은 이러한 발견이 테스트된 도메인과 메커니즘에 특화되어 있음을 언급하며, 단순 공개를 통한 인식 개선과 프레이밍을 통한 실제 행동 변화 사이의 괴리가 향후 적응형 설명 설계에 대한 미묘한 통찰을 제공한다고 강조한다.