Just-In-Time Objectives: A General Approach for Specialized AI Interactions

이 논문은 사용자의 행동으로부터 실시간으로 특정 목적을 추론하여 이를 기반으로 생성 및 평가하는 'Just-In-Time' 아키텍처를 제안함으로써, 일반 LLM 보다 훨씬 높은 품질의 맞춤형 도구와 응답을 생성할 수 있음을 보여줍니다.

핵심

🎯 핵심 비유: "만능 요리사 vs. 주문형 셰프"

지금까지 우리가 써온 AI 는 **'만능 요리사'**와 비슷합니다.
이 요리사는 모든 사람에게 똑같은 메뉴 (기본적인 답변) 를 내놓습니다. "오늘 뭐 드실래요?"라고 물으면, "일반적인 스프"나 "기본 샐러드"를 줍니다. 왜냐하면 이 요리사는 미리 정해진 레시피 (학습 목표) 대로만 움직이기 때문입니다.

하지만 연구자들은 **"사용자가 지금 당장 무엇을 가장 필요로 하는지"**를 AI 가 눈치채게 만들면 훨씬 더 좋은 결과가 나온다고 말합니다.

이 논문이 제안하는 'Poppins(팝핀스)' 시스템은 마치 **현장을 누비는 '주문형 셰프'**와 같습니다.
사용자가 책상 위에 무엇을 펼쳐놓고, 어떤 고민을 하고 있는지 (화면 캡처나 입력 내용) 를 지켜보다가, **"아! 이 사용자는 지금 이 문장의 논리를 다듬는 게 급하구나!"**라고 바로 알아챕니다. 그리고 그 순간에 딱 맞는 도구나 조언을 만들어냅니다.

---

🚀 이 기술이 어떻게 작동할까요? (3 단계 과정)

이 시스템은 크게 세 가지 단계를 거칩니다.

1. 눈치채기 (Objective Induction)

사용자가 컴퓨터 화면을 보고 있거나 글을 쓰고 있을 때, 시스템이 그 상황을 관찰합니다.

• 예시: 사용자가 논문을 쓰다가 "시스템 설명" 부분을 수정하고 있다면, AI 는 "아, 이 사람은 지금 기술적 명확성을 높이는 게 목표구나!"라고 추측합니다.
• 비유: 친구가 고민하는 표정으로 책을 보고 있으면, "아, 이 친구는 지금 이 부분 이해가 안 가서 도와줘야겠다"라고 눈치채는 것과 같습니다.

2. 목표 설정 (Just-In-Time Objectives)

추측한 내용을 바탕으로 AI 에게 **"지금 당장 이 목표를 달성해!"**라고 지시합니다.

• 기존 AI: "글을 잘 써줘." (너무 포괄적)
• 이 시스템: "이 문단의 논리 흐름을 CHI 학회 심사위원이 읽을 때 이해하기 쉽게 바꿔줘." (구체적이고 즉각적)
• 비유: 요리사에게 "맛있는 거 만들어줘"라고 하는 대신, "지금 배가 고프고 매운 게 당기니까, 얼른 매운탕 만들어줘!"라고 구체적으로 주문하는 것과 같습니다.

3. 도구 만들기 (Poppins System)

이 목표에 맞춰 AI 는 단순히 글만 써주는 게 아니라, **사용자가 바로 쓸 수 있는 '맞춤형 도구'**를 만들어줍니다.

• 예시:
  • 논문을 쓰는 사람에게는 "연구자 반응 시뮬레이터"라는 도구를 만들어줍니다.
  • 소설을 쓰는 사람에게는 "캐릭터 감정 추적기"라는 도구를 만들어줍니다.
  • 공학 프로젝트를 하는 사람에게는 "기술 프로토콜 생성기"를 만들어줍니다.
• 비유: 요리사가 단순히 요리를 해주는 게 아니라, 사용자가 직접 요리를 할 수 있도록 "오늘의 재료에 딱 맞는 전용 조리 도구"를 만들어서 건네주는 것입니다.

---

🌟 왜 이것이 중요한가요?

1. 더 이상 "뻔한 답변"이 아닙니다.
   기존 AI 는 모든 사람에게 똑같은 조언을 줍니다. 하지만 이 시스템은 사용자마다, 상황마다 다른 맞춤형 조언을 줍니다. 연구 결과, 일반 AI 보다 66~86% 더 높은 만족도를 보였습니다.

2. 사용자가 AI 를 더 잘 통제할 수 있습니다.
   사용자가 복잡한 명령어를 입력할 필요 없이, 시스템이 알아서 목표를 제안합니다. 만약 제안이 마음에 안 들면, 사용자가 그 목표를 수정할 수도 있습니다. 마치 레스토랑에서 "오늘의 추천 메뉴"를 보고, "그런데 매운맛은 좀 덜어줘"라고 수정할 수 있는 것과 같습니다.

3. 창의성을 자극합니다.
   사용자는 자신이 생각지도 못했던 새로운 아이디어나 도구를 발견하게 됩니다. 예를 들어, "캐릭터를 불일치하게 만들어서 이야기를 더 흥미롭게 해보자"는 조언을 AI 가 해줄 수도 있습니다.

---

🛡️ 주의할 점 (한계점)

물론 완벽한 기술은 아닙니다.

• 시간: AI 가 상황을 분석하고 도구를 만드는 데 몇 분이 걸릴 수 있습니다. (즉석에서 바로 나오는 건 아니에요.)
• 사생활: 사용자의 화면을 지켜봐야 하므로, 어떤 정보가 수집되는지에 대한 투명성이 필요합니다.
• 통제권: AI 가 제안한 목표가 사용자의 진짜 의도와 다를 수 있으므로, 사용자가 최종적으로 확인하고 수정할 수 있어야 합니다.

💡 결론

이 논문은 **"AI 는 미리 정해진 대로 움직이는 기계가 아니라, 사용자의 상황을 보고 그 순간에 딱 맞는 목표를 설정해 주는 파트너가 되어야 한다"**는 것을 보여줍니다.

마치 **마법 같은 우산 (Mary Poppins)**처럼, 사용자가 필요로 할 때 딱 맞는 도구와 조언을 꺼내주어, 누구나 자신만의 특별한 AI 비서를 가질 수 있게 해주는 기술입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 광범위한 기능을 제공하지만, 구체적인 목표 (Objective) 가 주어지지 않으면 범용적이고 일반화된 (Generic) 결과를 생성하는 경향이 있습니다.

• 현재의 한계: LLM 의 학습 목표는 사전에 정의되며, 다양한 사용자의 맥락을 모두 포괄하기 위해 다수의 목표를 동시에 최적화합니다. 이로 인해 모델은 "위원회式设计 (Design by committee)"처럼 안전하지만 무미건조하고 일반화된 출력을 생성하게 됩니다.
• 사용자의 어려움: 사용자는 LLM 의 행동을 예측하기 어렵고, 구체적인 프롬프트를 작성하는 데 어려움을 겪으며 (Underspecified prompts), 결국 일반화된 아이디어로 수렴하게 됩니다.
• 핵심 질문: 사용자의 실시간 (in-the-moment) 목표를 추론하여 이를 단일 목표로 빠르게 최적화한다면, LLM 이 더 전문적이고 맞춤형 도구 및 응답을 생성할 수 있을까요?

2. 방법론 (Methodology)

이 논문은 Just-In-Time (JIT) Objective라는 새로운 아키텍처를 제안합니다. 이는 사용자의 행동을 관찰하여 실시간으로 목표를 유도 (Induce) 하고, 이를 통해 하위 AI 시스템을 조종하는 방식입니다.

2.1 JIT Objective 아키텍처

시스템은 크게 세 가지 단계로 구성됩니다:

1. 목표 유도 (Objective Induction):
   • 사용자의 현재 컨텍스트 (스크린샷, 텍스트, 파일 등) 를 입력으로 받습니다.
   • 비전 언어 모델 (VLM) 을 사용하여 사용자의 작업 단계, 대상 독자, 의도 등을 분석합니다.
   • 이를 JSON 형식의 JIT Objective로 변환합니다. (예: "초록의 연구 기여도 명확화", "기술 아키텍처 설명 강화").
   • 각 목표에는 이름, 상세 설명, 그리고 중요도 (1~10 점) 를 포함하는 가중치가 부여됩니다.
2. 생성 최적화 (Generate Optimization - gen_objective):
   • 유도된 JIT Objective 를 기존 LLM 생성 프롬프트에 추가합니다.
   • 이를 통해 LLM 이 사용자의 특정 상황에 맞는 전문적인 도구, 피드백, 또는 초안을 생성하도록 유도합니다.
3. 평가 최적화 (Evaluate Optimization - eval_objective):
   • 생성된 후보들 (예: 여러 전문가 피드백, 여러 도구 디자인) 을 JIT Objective 를 기준으로 평가합니다.
   • LLM-as-a-judge 방식을 사용하여, 사용자의 특정 목표와 가장 부합하는 후보를 선별하거나 점수를 매깁니다.

2.2 구현 시스템: Poppins

이 아키텍처를 검증하기 위해 Poppins라는 브라우저 확장 프로그램 및 웹 애플리케이션을 개발했습니다.

• 입력: 사용자의 브라우저 화면 캡처 및 텍스트 내용을 수집합니다.
• 기능 1: Poppins-experts (전문가 생성)
  • JIT Objective 를 기반으로 사용자의 작업에 가장 적합한 '전문가' (예: HCI 연구자, 시스템 아키텍트) 를 생성하고, 해당 전문가의 관점에서 피드백을 제공합니다.
• 기능 2: Poppins-tools (도구 생성)
  • JIT Objective 를 기반으로 사용자의 작업을 돕기 위한 **상호작용형 소프트웨어 도구 (Interactive Tools)**의 설계를 생성하고, 이를 실제 코드 (Svelte 컴포넌트) 로 구현하여 제공합니다.
  • 예: "Component Relationship Diagram Builder", "Character Emotion Tracker" 등.

3. 주요 기여 (Key Contributions)

1. 범용 아키텍처 제안: 도메인이나 작업에 구애받지 않고, 사용자의 실시간 상호작용 기록을 기반으로 LLM 을 사용자 특화 (User-specific specialization) 로 전환하는 일반화된 JIT Objective 아키텍처를 제시했습니다.
2. Poppins 시스템 구현: 관찰된 사용자 컨텍스트를 기능적인 인터랙티브 도구로 변환하는 Poppins 시스템을 구현하여, JIT Objective 가 실제 UI 생성에 어떻게 적용되는지 시연했습니다.
3. 정량적 및 정성적 검증: 유도된 목표의 정확성, 유용성, 그리고 이를 적용한 AI 시스템의 성능을 다양한 실험을 통해 검증했습니다.

4. 실험 결과 (Results)

연구팀은 세 가지 주요 실험을 수행했습니다.

• 실험 1 (N=14, 브라우저 트래이스 분석):
  • 유도된 JIT Objective 는 **정확도 (M=2.04/3)**와 **유용성 (M=2.18/3)**에서 높은 평가를 받았습니다.
  • JIT Objective 를 적용한 전문가, 도구 디자인, 피드백은 베이스라인 LLM 대비 **71%~86% 의 승률 (Win Rate)**을 기록했습니다.
• 실험 2 (N=205, 대규모 온라인 평가):
  • 410 개의 입력 컨텍스트에 대해 JIT Objective 는 **정확도 (M=1.92)**와 **유용성 (M=2.06)**을 유지했습니다.
  • 베이스라인 대비 66%~71% 의 승률을 보였으며, 유도된 목표 중 사용자가 직접 작성한 커스텀 목표보다 유도된 목표를 선택한 비율이 **97.8%**에 달했습니다.
• 실험 3 (N=17, 인-랩 세션):
  • 참가자들의 실제 작성 작업에 Poppins 를 적용한 결과, 생성된 도구들은 수동 프롬프트 없이도 관련성 있고 유용했습니다.
  • Poppins 의 출력물은 표준 LLM 채팅 도구보다 **통계적으로 유의미하게 높은 품질 (p < .05)**로 평가받았습니다.
  • 참가자들은 Poppins 가 자신의 작업을 더 깊이 있게 이해하고, 예상치 못한 전문적인 통찰 (예: 캐릭터 일관성 검사, 기술 프로토콜 생성) 을 제공했다고 평가했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 일반화된 AI 에서 특수화된 AI 로의 전환: 사전 정의된 범용 목표 대신, 사용자의 실시간 맥락에서 유도된 구체적인 목표를 사용하여 LLM 이 "일반적인 조언"이 아닌 "전문가 수준의 맞춤형 솔루션"을 제공할 수 있음을 입증했습니다.
• 사용자 주도성 강화: 사용자가 복잡한 프롬프트 엔지니어링을 할 필요 없이, 시스템이 유도한 목표를 수정하거나 선택함으로써 AI 의 행동을 쉽게 제어할 수 있게 되었습니다.
• 적응형 UI 의 새로운 패러다임: 정적인 인터페이스가 아닌, 사용자의 필요에 따라 실시간으로 생성되고 최적화되는 **생성형 사용자 인터페이스 (Generative UI)**의 실현 가능성을 보여주었습니다.
• 윤리적 고려: 관찰 기반 목표 유도는 프라이버시, 편향성, 책임 소재 등의 윤리적 문제를 동반하므로, 투명성과 사용자 통제권 보장이 필수적임을 강조했습니다.

결론적으로, 이 논문은 Just-In-Time Objectives를 통해 AI 시스템이 사용자의 즉각적인 필요에 맞춰 진화할 수 있는 새로운 프레임워크를 제시하며, 인간-AI 상호작용의 질을 획기적으로 향상시킬 수 있음을 증명했습니다.