Retcon -- a Prompt-Based Technique for Precise Control of LLMs in Conversations

이 논문은 대화 중 LLM 의 행동을 턴 단위로 정밀하게 제어할 수 있도록 설계된 퓨샷 프롬핑 기법인 'Retcon'을 제안하고, 기존 제로샷 및 전통적인 퓨샷 프롬핑보다 뛰어난 성능을 입증합니다.

핵심

🎭 '리컨 (Retcon)' 기술: 대화하는 AI 를 마법처럼 조종하는 방법

이 논문은 구글 연구팀이 개발한 **'리컨 (Retcon)'**이라는 새로운 기술을 소개합니다. 이 기술은 대화형 AI(챗봇) 가 상황에 따라 말투, 난이도, 감정 등을 정교하게 조절할 수 있게 해줍니다.

기존의 방법들보다 훨씬 똑똑하고 효율적으로 AI 를 제어할 수 있는 비법을, 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이런 기술이 필요할까요? (기존 방법의 한계)

지금까지 AI 를 대화하게 할 때 주로 두 가지 방법을 썼습니다.

• 제로샷 (Zero-shot): "너는 영어 선생님이고, 학생에게 A1 레벨 (초보자) 으로 말해줘."라고 명령만 내리는 방식입니다.
  • 비유: 요리사에게 "매운 요리를 해줘"라고만 말하고 레시피를 주지 않는 것과 같습니다. 요리사가 매운맛을 얼마나 잘 조절할지 알 수 없습니다.
• 퓨샷 (Few-shot): "예를 들어, A1 레벨로 이렇게 말해봤어. B1 레벨로는 이렇게 말해봤어."라고 예시 대화를 몇 개 보여주고 시키는 방식입니다.
  • 비유: 요리사에게 "이건 매운 국, 이건 덜 매운 국"이라고 완성된 요리 3~4 접시를 보여주고 "이제 너도 해봐"라고 하는 것입니다.

문제점:
대화가 길어지거나, 대화 중간에 "아, 이제 갑자기 아주 쉬운 말로 바꿔줘!"라고 요구할 때, 기존 방법들은 AI 가 혼란을 겪거나 명령을 잊어버립니다. 또한, 더 좋은 결과를 얻으려면 예시 대화를 계속 늘려야 하는데, 이렇게 하면 AI 가 기억해야 할 정보 (문맥) 가 너무 길어져서 느려지고 비싸집니다.

---

2. 리컨 (Retcon) 이란 무엇인가요? (핵심 아이디어)

'리컨 (Retcon)'은 **'Retrospective Continuity(과거의 연속성을 되돌아본다)'**의 줄임말입니다. 보통 만화나 소설에서 작가들이 "아, 이 설정은 아니었구나. 과거를 다시 써서 (Retcon) 이 부분을 수정하자!"라고 할 때 쓰는 용어입니다.

이 논문에서는 대화가 진행되는 동안, AI 가 이미 한 말들을 실시간으로 '예시'로 다시 해석하는 기술을 말합니다.

• 핵심 메커니즘:
  AI 가 대화할 때, 매번 말을 하기 직전에 "이제부터는 A1 레벨로 말해"라는 지시문을 숨겨서 넣어줍니다. 그리고 AI 가 그 지시를 따라 말한 내용을 다시 예시 데이터에 추가합니다.

• 창의적인 비유: "연극 배우와 즉석 대본"

  • 기존 퓨샷: 감독이 배우에게 "이제부터는 슬픈 연기를 해"라고 하고, 무대 뒤에서 완성된 연극 영상 3 개를 보여줍니다. 배우는 그 영상을 보고 따라 하려다, 대화가 길어지면 영상을 잊어버립니다.
  • 리컨 (Retcon): 감독이 배우에게 매 대본을 읽기 직전에 속삭입니다. "자, 이제부터는 A1 레벨로 말해." 배우가 그 말대로 연기하면, 그 순간의 연기가 바로 새로운 예시가 되어 다음 대본에도 적용됩니다.
  • 결과: 배우는 과거의 완성된 영상 10 개를 보는 대신, 지금 이 순간의 100 번의 작은 연습을 통해 배우는 셈입니다. 그래서 훨씬 더 정교하게 연기 (대답) 를 조절할 수 있습니다.

---

3. 어떻게 작동하나요? (실제 실험)

연구팀은 AI 가 영어 학습자와 대화하며 **난이도 (A1~C2)**를 조절하는 실험을 했습니다.

• 실험 설정:

  • AI 는 영어 선생님 역할을 합니다.
  • 사용자는 "이제 A1 레벨 (초보자) 로 말해줘"라고 요청합니다.
  • 리컨 방식: 대화의 모든 턴 (턴) 마다 AI 가 "이건 A1 레벨로 대답한 예시야"라고 스스로 인식하도록 지시문을 주입했습니다.

• 결과:

  • 정확도: 리컨을 사용한 AI 는 기존 방법보다 훨씬 정확하게 요청된 난이도의 말을 했습니다. (오차율이 현저히 낮았습니다.)
  • 효율성: 기존 퓨샷 방식은 예시 대화를 100 개나 줘야 좋은 결과가 나왔는데, 리컨은 예시 대화 8 개만으로도 훨씬 좋은 성적을 냈습니다.
  • 이유: 리컨은 대화의 모든 순간을 예시로 삼기 때문에, AI 가 "지금 이 대화 흐름 속에서 어떻게 반응해야 하는지"를 실시간으로 학습하게 됩니다.

---

4. 이 기술의 장단점

✅ 장점 (기쁨)

• 정밀한 조종: 대화 중간에 "조금 더 친절하게", "조금 더 어렵게"라고 요구해도 AI 가 즉시 따라옵니다.
• 비용 절감: 많은 예시 데이터를 준비할 필요가 없어, AI 를 더 빠르게, 더 저렴하게 구동할 수 있습니다.
• 학습 없이 가능: AI 를 다시 학습 (Fine-tuning) 시킬 필요 없이, 프롬프트 (명령어) 만으로 성능을 극대화할 수 있습니다.

⚠️ 단점 (주의)

• 시스템 복잡도: 이 기술을 쓰려면 AI 가 말을 할 때마다 그 말의 난이도나 감정을 실시간으로 평가하는 '심판 (평가 모델)'이 필요합니다. 마치 연극을 보면서 매 순간 점수를 매기는 심판이 무대 옆에 있어야 하는 것과 같습니다.
• 데이터 제작 비용: 좋은 예시 대화를 만드는 데는 여전히 노력이 필요합니다.
• 악용 가능성: 이 기술로 AI 를 조종하면, 사용자에게는 보이지 않게 은밀한 광고를 넣거나 조작적인 대화를 유도할 수도 있어 윤리적 주의가 필요합니다.

---

5. 결론

**리컨 (Retcon)**은 AI 와의 대화를 마치 유연한 연극처럼 만드는 기술입니다.

기존에는 "완성된 예시"를 보여주고 따라 하게 했지만, 리컨은 **"지금 이 순간의 모든 대화"**를 학습 자료로 활용하게 합니다. 덕분에 AI 는 대화의 흐름을 놓치지 않고, 사용자의 요구에 맞춰 말투와 내용을 마법처럼 정교하게 조절할 수 있게 되었습니다.

이 기술이 발전하면, 앞으로 우리가 AI 와 대화할 때 "너는 지금부터 아주 친근한 친구가 되어줘"라고 말하면, AI 는 그 순간부터 정말 친구처럼 변해서 대화할 수 있을 것입니다!

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 발전함에 따라 지원 에이전트, 교육 보조 도구, 인터랙티브 봇 등 다중 턴 (multi-turn) 대화 기반 애플리케이션이 증가하고 있습니다. 그러나 이러한 대화 맥락에서 LLM 의 행동을 정밀하게 제어하는 것은 여전히 어려운 과제입니다.

• 기존 기술의 한계: 제로샷 (Zero-shot) 또는 전통적인 퓨샷 (Few-shot) 프롬핑 기법은 대화의 이전 턴 (turn) 과 다른 어조나 내용을 요구할 때, 혹은 대화가 길어질 때 성능이 저하되는 경향이 있습니다.
• 파인튜닝의 비효율성: 개별 작업을 개선하기 위해 파인튜닝 (Fine-tuning) 이나 제어 프레임워크를 사용할 수 있으나, 이는 학습 비용과 컴퓨팅 자원이 많이 소모되어 실제 응용 프로그램에는 비실용적입니다.
• 핵심 요구사항: 파인튜닝 없이도 대화의 각 턴 (turn) 에서 LLM 의 응답을 정밀하게 조정할 수 있는 프롬핑 기술이 필요합니다.

2. 방법론: Retcon (Methodology)

저자들은 Retcon이라는 새로운 퓨샷 프롬핑 기법을 제안했습니다. 이는 "Retconning(연속적인 픽션에서 과거의 설정을 재해석하여 현재 이야기와 일치시키는 것)"에서 유래한 이름으로, 대화의 각 턴을 예시로 활용하여 LLM 을 제어합니다.

• 핵심 아이디어: 전통적인 퓨샷이 '완전한 대화 예시 (Conversation)'를 단위로 제공하는 반면, Retcon 은 현재 진행 중인 대화의 각 턴 (Turn) 을 개별 예시로 활용합니다.
• 프롬프트 구성:
  • 기존 대화 기록 (예시 대화 및 현재 대화) 의 각 턴 앞에 해당 턴의 목표 (Goal) 를 명시하는 지시문 (Instruction) 을 주입합니다.
  • 예: 지시문 (목표) -> 사용자/어시스턴트 응답 형식으로 반복됩니다.
  • 이를 통해 LLM 은 대화의 흐름 속에서 "이전 턴의 목표에 맞춰 응답했다"는 패턴을 학습하게 됩니다.
• 필수 구성 요소:
  • 평가 함수 (Evaluation Function, $E(T)$): 각 텍스트 턴이 목표 (예: CEFR 난이도, 감정 등) 를 얼마나 잘 충족하는지 측정하는 함수가 필요합니다. 이 함수는 프롬프트 생성 시 각 턴에 맞는 지시문을 동적으로 생성하는 데 사용됩니다.
  • 동적 재작성 (Retconning): 현재 대화 중에도 사용자의 입력에 따라 실시간으로 프롬프트를 재작성하여 지시문을 삽입합니다.

3. 주요 기여 (Key Contributions)

1. Turn-level Control 제안: 대화 전체가 아닌, 각 턴 단위에서 LLM 의 응답 특성을 정밀하게 제어할 수 있는 새로운 프롬핑 패러다임을 제시했습니다.
2. 성능 검증: 제로샷 및 전통적인 퓨샷 기법보다 정밀한 제어 능력과 응답 품질에서 우월한 성능을 입증했습니다.
3. 비용 효율성: 파인튜닝 없이도 높은 수준의 제어가 가능하여, 실제 서비스 환경에서 적용 가능한 저비용 솔루션을 제시했습니다.

4. 실험 및 결과 (Experiments & Results)

• 실험 설정:
  • 작업: 영어 학습자를 위한 튜터링 시나리오에서 응답의 언어 난이도 (CEFR: A1~C2) 를 조절하는 과제.
  • 모델: Gemini Pro 1.1 사용.
  • 데이터: 20 개의 대화 (각 20 턴) 를 직접 작성하여 10 개는 예시, 10 개는 평가용으로 사용.
  • 평가 지표: CEFR 난이도 예측 오차를 기반으로 한 평균 제곱 오차 (MSE).
• 주요 결과:
  • 성능 우위: Retcon 은 모든 예시 수 (0~10 개 대화) 에서 전통적인 퓨샷보다 유의미하게 낮은 MSE 를 기록했습니다.
    • Retcon 최적 MSE: 0.544
    • 퓨샷 최적 MSE: 0.659
  • 제로샷 대비 향상: 예시 없이 (Zero-shot) 실행했을 때 Retcon 은 약 2 배 낮은 오차 (MSE 0.821 vs 1.621) 를 보였습니다. 이는 현재 대화의 각 턴 자체가 예시가 되어 LLM 에게 컨텍스트를 제공하기 때문입니다.
  • 컨텍스트 길이 대비 효율: Retcon 프롬프트는 지시문 삽입으로 인해 길이가 더 길지만, 동일한 컨텍스트 길이 대비 더 높은 정확도를 보여주었습니다.
  • 최적의 예시 수: 퓨샷은 8 개의 예시 대화에서, Retcon 은 4 개의 예시 대화에서 각각 최상의 성능을 발휘했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 대화형 AI 의 제어 가능성을 크게 확장하여, 지원 에이전트의 톤 조절, 게임 NPC 의 상황 반응, 교육용 AI 의 난이도 조절 등 다양한 분야에서 정밀한 제어를 가능하게 합니다.
  • 파인튜닝 없이도 LLM 의 행동을 실시간으로 세밀하게 조정할 수 있는 실용적인 방법론을 제시했습니다.
• 한계 및 향후 과제:
  • 평가 함수 의존성: Retcon 구현을 위해서는 대화 흐름에 통합된 평가 함수 (Evaluation Function) 가 필수적입니다. 이는 감정 분석 등 복잡한 태스크에서는 구현이 어려울 수 있습니다.
  • 데이터 생성 비용: 고품질의 예시 대화와 평가 데이터를 생성하는 데 인력과 비용이 소요됩니다.
  • 윤리적 리스크: LLM 의 행동을 정밀하게 제어할 수 있다는 점은 악의적인 행위자 (예: 사용자에게 인지하지 못하게 광고를 주입하는 등) 에 의해 악용될 위험이 있습니다.
  • 범용성 검증: 현재는 영어와 하나의 모델, 하나의 작업 (난이도 조절) 에만 적용되었으므로, 다른 언어나 작업으로의 일반화 여부는 추가 연구가 필요합니다.

결론

Retcon 은 대화형 LLM 의 제어 문제를 해결하기 위해 제안된 혁신적인 프롬핑 기법으로, 대화 내 각 턴을 예시로 활용하여 정밀한 제어를 가능하게 함으로써 기존 퓨샷 기법의 한계를 극복하고 더 나은 성능을 입증했습니다. 이는 파인튜닝 없이도 유연하고 정교한 대화형 AI 에이전트를 구축할 수 있는 중요한 기술적 진전입니다.