Using Large Language Models for Idea Generation in Innovation

기술 요약: 아이디어 생성을 위한 대규모 언어 모델(LLM)의 활용

문제 제기
본 논문은 혁신 관리의 근본적인 질문을 다룬다: 대규모 언어 모델(LLM), 특히 OpenAI의 GPT-4가 인간이 생성한 아이디어와 경쟁하거나 이를 능가하는 새로운 제품 아이디어를 효과적으로 생성할 수 있는가? LLM은 일관된 텍스트를 생성하는 것으로 알려져 있으나, 종종 "환각(hallucinations)"과 불일치 문제로 비판받기도 한다. 저자들은 창의성의 영역에서는 프로세스의 가치가 모든 출력값의 평균적인 일관성이 아니라 '최고의' 아이디어의 품질에 의해 결정된다는 점에서, LLM의 확률적(stochastic) 특성이 약점이 아닌 강점이 될 수 있다고 제안한다. 본 연구는 물리적 제품 아이디어(대학생 대상, 가격 50달러 이하)를 생성하는 맥락에서, LLM이 인간보다 우수한 아이디어 생성 도구 역할을 할 수 있다는 가설을 실증적으로 테스트하고자 한다.

연구 방법론
본 연구는 세 가지 별도의 제품 아이디어 풀(pool)을 포함하는 비교 실험 설계를 채택하였다:

1. 인간 생성 풀 (Human-Generated Pool): 제품 디자인 과정을 수강하는 대학생들로부터 수집된 200개의 아이디어 (LLM의 광범위한 보급 이전인 2021년에 수행됨).
2. 제로샷 AI 풀 (Zero-Shot AI Pool): 예시 없이 표준 프롬프트를 사용하여 GPT-4(모델 gpt-4-0314)가 생성한 100개의 아이디어.
3. 퓨샷 AI 풀 (Few-Shot AI Pool): 인컨텍스트 학습(in-context learning)을 촉진하기 위해 동일한 프롬프트에 고득점을 받은 학생 아이디어 6개를 추가하여 GPT-4가 생성한 100개의 아이디어.

실험 설정에서는 무작위성을 유지하기 위해 "온도(temperature)" 파라미터를 0.7로 설정하였다. 컨텍스트 윈도우(context window)의 제한을 극복하기 위해, 저자들은 이전에 생성된 아이디어를 압축하는 요약 전략을 구현하여, 메모리 제약으로 인해 중복이 발생하지 않도록 하면서 100개의 아이디어를 연속적으로 생성할 수 있도록 하였다.

아이디어 평가는 세 가지 별도의 연구를 통해 진행되었다:

• 연구 1 (품질 평가): 400개의 아이디어를 Prolific을 통해 모집된 대학 연령층의 인간 응답자들이 표준 5단계 구매 의도 설문을 사용하여 평가하였다. 응답값은 "구매 의도 확률"을 계산하기 위해 가중치가 부여되었으며, 이는 주요 지표로 사용되었다.
• 연구 2 (다양성 및 참신성):
  • 유연성/중복성 (Flexibility/Overlap): 텍스트 마이닝을 사용하여 모든 아이디어 쌍 간의 텍els 임베딩(Google의 Universal Sentence Encoder 사용)에 대한 코사인 유사도를 계산하였다. 유사도 점수가 임계값 $\theta = 0.8$을 초과하는 아이디어는 중복된 것으로 분류하였다. 각 풀(pool)의 고유하고 발견 가능한 아이디어 총수를 추정하기 위해 캡처-재포획(capture-recapture) 모델이 적용되었다.
  • 독창성 (Originality): 인간 평가자들이 아이디어의 인지된 참신성을 0~1 척도로 평가하였다.
• 연구 3 (상위 티어 성능): 저자들은 아이디어 품질의 분포, 특히 상위 10%(전체 400개 중 상위 40개)에 집중하여 어떤 출처가 가장 높은 품질의 아웃라이어(outlier)를 생성했는지 분석하였다. 분위 회귀(quantile regression)를 사용하여 아이디어 출처와 품질 간의 관계를 다양한 백분위수에서 조사하였다.

주요 결과
본 연구는 세 가지 주요 결론을 도출하였다:

1. 우월한 평균 품질: AI 생성 아이디어는 인간 생성 아이디어보다 유의미하게 높은 평균 구매 의도를 보였다. 평균 구매 의도는 인간 0.40, 제로샷 AI 0.46, 퓨샷 AI 0.49였다. 통계적 분석 결과, 두 AI 조건 모두 인간을 능가했으며, 퓨샷 프롬프팅이 가장 높은 평균 품질을 나타냈다.
2. 감소된 참신성 및 다양성: 높은 평균 품질에도 불구하고, AI 생성 아이디어는 참신성이 더 낮게 평가되었다 (인간: 0.41; 제로샷 AI: 0.37; 퓨샷 AI: 0.36). 또한, 텍스트 마이닝 결과 AI 생성 아이디어는 더 높은 쌍별 유사성을 보이는 것으로 나타났다. 중복된 아이디어의 비율은 인간 0%, 제로샷 AI 5%, 퓨샷 AI 7%였다. 캡처-재포획 모델은 인간 프로세스가 약 966개(제로샷) 및 680개(퓨샷)의 고유한 아이디어를 발견할 수 있음을 추정하였는데, 이는 인간 풀이 샘플 내에서 고유한 아이디어만을 포함하고 있었던 것과 대조적으로, 인간의 아이디어 구상이 더 넓은 솔루션 지형을 가지고 있음을 시사한다.
3. 상위 티어 아이디어에서의 지배력: 가장 중요한 발견은 최상위 아이디어의 품질과 관련된다. 전체 아이디어의 상위 10%(상위 40개 중 35개) 중 87.5%가 GPT-4에 의해 생성되었다. 구체적으로, AI 생성 아이디어가 상위 10%에 포함될 확률은 인간보다 7배 높았다. 분위 회귀 분석은 GPT-4의 이점이 품질 분포의 상위 꼬리(upper tail)에서 가장 두드드러짐을 확인해주었다.

핵심 기여
본 논문은 다음과 같은 방식으로 혁신 문헌에 기여한다:

• LLM이 단순히 일관성을 위한 도구가 아니라 창의성을 위한 도구임을 입증함으로써, 인간보다 고품질의 제품 아이디어를 생성할 수 있다는 실증적 증거를 제공한다.
• AI가 아이디어 풀의 다양성과 참신성을 감소시킬 수 있지만(결과적으로 탐색된 솔루션 지형을 좁히지만), "예외적인" 아이디어를 생성할 확률을 크게 높인다는 점을 보여준다.
• AI가 상위 티어 아이디어를 생성하는 데 있어 7:1의 이점 비율을 확립함으로써, AI의 가치가 평균적인 아이디어가 아닌 고품질의 아웃라이어를 생산하는 능력에 있음을 시사한다.

의의 및 주장
저자들은 본 연구가 LLM의 엄청난 생산성 우위(인간이 몇 시간 걸리는 작업을 단 몇 분 만에 수백 개의 아이디어로 생성하는 능력)를 고려하지 않았다는 점에서, AI의 잠재력에 대한 "보수적인 추정치"를 제공한다고 주장한다. 본 논문은 '평균적인' 아이디어보다 '최고의' 아이디어를 가치 있게 여기는 전통적인 혁신 모델이 LLM의 강점과 완벽하게 부합한다고 논한다.

본 연구의 의의는 인간 아이디어 생성자의 역할이 '생성'에서 '평가' 및 '정교화'로 전환될 수 있음을 시사하는 데 있다. 만약 LLM이 훨씬 적은 비용으로 고품질의 아이디어를 대량으로 신뢰성 있게 생성할 수 있다면, 조직은 초기 아이디어 생성 단계에만 집중하기보다 이러한 아이디어들을 분류, 순위 매기기 및 우선순위를 정하는 데 자원을 재배치해야 할 것이다. 저자들은 인간의 개입이 참신성을 보장하고 아이디어의 방향을 주도하는 데 여전히 중요하지만, AI가 신제품 개발을 위한 실질적이고 변혁적인 혜택을 제공한다는 결론을 내렸다.