기술 요약: Spatula – 온디맨드 인시튜(In-Situ) 인터페이스 및 속성 제어를 위한 탐색

1. 문제 정의

생성형 AI가 콘텐츠 제작의 장벽을 낮추었지만, 생성된 결과를 정교하게 다듬는 과정은 여전히 큰 과제로 남아 있다. 현재의 워크플로우는 고수준의 의도(high-level intent)와 저수준의 파라미터 제어(low-level parameter control) 사이의 단절 문제를 겪고 있다:

• LLM 기반 워크플로우: 텍스트 프롬프트에 의존하여 결과물을 개선하는데, 이는 간접적이며 즉각적인 피드백 루프가 부족하고, 변화의 크기나 영향을 받는 특정 요소에 대한 예측 가능성이 낮다.
• 전통적인 저작 도구: 계층적 패널을 통해 풍부한 파라미터 공간을 노출하여 정밀함을 제공하지만, 높은 인지 부하를 유발하고 UI의 복잡함으로 인해 반복적인 작업 흐름을 방해한다.
• 기존의 온디맨드 인터페이스: 일부 시스템은 동적으로 컨트롤을 생성하지만, 이를 창의적 과정의 통합된 일부가 아닌 외부의 임시적인 추가 요소(예: 분리된 사이드 패널)로 취급하는 경우가 많다. 이들은 고차원적이고 상호 의존적인 파라미터를 추론하는 데 필요한 시각적 스캐폴딩(scaffolding)을 제공하지 못하는 경우가 빈번하다.

식별된 핵심 과제는 단순히 인터페이스를 생성하는 것이 아니라, 제어 구조를 어떻게 실행 가능하고, 직관적이며, 시각적 캔버스에 통합되도록 구성할 것인가 하는 점이다.

2. 방법론

2.1 형성 연구 (Formative Studies)

저자들은 설계를 구체화하기 위해 두 단계의 형성 연구를 수행하였다:

1. 인터뷰 및 디자인 도출: 6명의 숙련된 모션 그래픽 디자이너를 대상으로 전통적인 워크플로우와 LLM 기반 워크플로우를 비교하는 인터뷰를 진행했다. 주요 한계점으로 전통적인 도구의 과도한 저수준 제어와 LLM 워크플로우에서의 파라미터 은폐가 식별되었다.
2. 기술적 프로브 (Technical Probe): LLM이 모션 그래픽 코드(p5.js)를 분석하여 조절 가능한 속성을 식별하고, 캔버스 위에 직접 온디맨드 인시튜 UI 위젯(예: 드래그 핸들, 슬라이더)을 생성하는 프로토타입 시스템을 개발했다.
   • 결과: 사용자들은 인터랙티브한 편집 방식으로의 전환을 긍정적으로 평가했으나, 네 가지 주요 격차를 보고했다: (C1) 컨트롤의 발견 가능성 제한, (C2) 제어 해상도 부족(다단계 정밀도 결여), (C3) 관련 요소들의 집단적 편집 지원 미흡, (C4) 잠재적 컨트롤 범위의 불완전성.

2.2 시스템 디자인: 탄력적 속성 제어 공간 (The Elastic Attribute Control Space)

형성 연구 결과를 바탕으로, 저자들은 **탄력적 속성 제어 공간(Elastic Attribute Control Space)**을 구현하는 시스템인 Spatula를 제안한다. 이 공간은 적응형이며 지속적으로 재구성 가능하며, 다음 네 가지 차원에 따라 구조화된다:

• 발견 가능성 (In-Situ 공간 발견):
  • 메커니즘: 사용자 의도(호버, 포커스, 조작)에 의해 트리거되는 문맥 인식형 점진적 힌트.
  • 구현: 시스템은 상호작용 가능한 요소를 강조하고, 국소적인 인터랙션 기술(예: "드래그하여 속도 변경")을 제공하며, 조작 중 실시간 파라미터 값을 보여준다.
• 해상도 (다중 해상도 제어):
  • 메커니즘: 사용자 호출 시 거친(coarse) 제어에서 정밀한(fine-grained) 제어로 확장되는 탄력적 위젯.
  • 구현: 사용자는 빠른 탐색을 위해 저해상도 컨트롤(예: 스칼라 슬라이더)로 시작한다. 더 높은 정밀도가 필요할 때, 인터페이스는 인시튜 내에서 더 풍부한 표현 방식(예: 베지에 곡선 에디터, 연속적인 HSV 색 공간)으로 탄력적으로 확장된다.
• 범위 (의미적 범위 제어):
  • 메커니즘: 의미적 또는 시각적으로 연관된 요소들의 집단적 조정.
  • 구현: 시스템은 역할, 외형 또는 기능에 따라 요소 그룹을 식별한다. 사용자는 "그룹 모드"를 토글하여 전체 세트의 속성을 동시에 조작할 수 있으며, 개별 편집으로 전환하는 기능도 유지한다.
• 확장성 (선제적 공간 확장):
  • 메커니즘: 기존 파라미터가 불충분할 때 제어 공간을 동적으로 확장.
  • 구현: 시스템은 잠재적인 속성 세트를 선제적으로 제안한다. 만약 이것이 충분하지 않다면, 사용자는 누락된 컨트롤을 설명하기 위해 가벼운 텍스트 입력을 제공할 수 있으며, 이는 시스템이 온디emand로 새로운 UI 요소를 생성하도록 유도한다.

2.3 구현

• 아키텍처: p5.js를 통해 렌더링되는 HTML5 Canvas를 중심으로, React.js(프론트엔드)와 Node.js(백엔드)를 사용하는 웹 기반 환경.
• LLM 에이전트: 코드 문맥을 분석하고, 속성을 추론하며, 인터랙션 로직을 합성하기 위해 Gemini-3-Pro를 활용한다.
• 파이프라인:
  1. 파싱(Parse): 시스템은 p5.js 코드를 분석하여 편집 가능한 속성을 추출하고 인터랙션 매핑을 추론한다.
  2. 합성(Synthesize): "적용 에이전트(Applying Agent)"가 지식 베이스에서 UI 프리미티브를 선택하고, 이를 실행 중인 애니메이션에 임시 인터랙티브 오버레이로 주입한다.
     의 캔버스에서 직접 요소를 조작한다. (예: 하이라이트를 위한 'h', 힌트를 위한 'j')
  3. 내보내기(Export): 확정된 파라미터는 원래의 코드로 다시 매핑되어, 깨끗한 내보내기를 위해 임시 스캐폴드를 제거한다.

3. 주요 기여

1. 속성 제어의 재정의: 본 논문은 구조화된 제어의 부재를 생성형 워크플로우의 핵심 한계로 식별하고, 속성 제어를 정적인 UI 요소가 아닌 탐색 가능하고 구조화된 탄력적 공간으로 재정의한다.
2. 탄력적 속성 제어 공간: 저자들은 이 공간을 구축하고 상호작용하기 위한 네 가지 메커니즘(발견 가능성, 해상도, 범위, 확장성)을 도출하고 정의한다.
3. Spatula 시스템: 문맥 인식형 제어 스캐폴딩을 통해 실시간 정밀 파라미터 조작을 가능하게 하는 온디맨드 인시튜 인터페이스의 개념 증명(PoC).
4. 경험적 통찰: 다양한 숙련도(초보자 vs 전문가)를 가진 사용자들이 속성 제어를 어떻게 탐색하고 활용하는지에 대한 통찰을 제공하는 비교 사용자 연구(N=12).

4. 결과

12명의 참가자(초보자 6명, 전문가 6명)를 대상으로 Spatula를 네 가지 조건(통합형 LLM 텍ect-to-motion, 별도 패널 조정, 초기 기술 프로브, 전체 Spatula 시스템)과 비교하는 비교 사용자 연구를 수행했다.

• 참여도 향상: 참가자들은 인시튜 컨트롤을 통한 저수준 조작이 고수준 텍스트 프롬프트에 비해 미적 참여와 창의적 탐색을 강화한다고 보고했다. 사용자들은 스스로 통제권을 갖고 있다고 느꼈으며, 개인의 비전에 맞게 결과를 미세 조정할 가능성이 더 높았다.
• 상이한 인터랙션 경로:
  • 초보자: 상향식(bottom-up) 탐색적 접근 방식을 채택했다. 이들은 즉각적인 시각적 피드백(예: 곡선을 드래그하여 모션 효과 확인)을 통해 애니메이션 원리를 이해하는 "교육적 샌드박스"로서 인시튜 힌트를 활용했다.
  • 전문가: 하향식(top-down) 조각 접근 방식을 채택했다. 이들은 장면 수준의 변화를 효율적으로 블로킹하기 위해 의미적 범위 제어 기능을 활용했으며, 누락된 파라미터를 정밀하게 추가하기 위해 선제적 확장을 사용했다.
• 상호 보완적 이점: 12명 중 11명의 참가자가 인시튜 인터랙션의 직관성을 높게 평가했으나, 일부는 인시튜 컨트롤이 시각적 작업 공간을 가릴 때 별도의 패널이 유용하다고 언급했다. 이는 두 모드를 모두 제공할 수 있는 적응형 인터페이스 생성의 필요성을 시사한다.

5. 의의 및 주장

본 논문은 Spatula가 사용자의 의도에 반응하여 에이전트가 합성하는 일시적이고 기능적인 스캐폴드로서의 인터페이스, 즉 **생성적 인터랙션(Generative Interaction)**으로의 전환을 나타낸다고 주장한다.

• 인터랙션 컴파일러: 저자들은 LLM이 고수준의 의미적 의도를 기능적인 인시튜 코드 스니펫으로 번역하는 "인터랙션 컴파일러" 역할을 할 수 있다고 상정한다. 이는 "제로샷 생성"의 마법과 "수동 조작"의 제어 사이의 간극을 메운다.
• 모듈성: 디자인은 모듈형의 플러그 앤 플레이 구성 요소로 제시된다. 본 연구는 모션 그래픽에 집중했지만, 저자들은 이 패러다임이 웹 디자인(CSS 속성 조작) 및 3D 모델링(기하학적 변형) 등 다른 창의적 영역에도 일반화될 수 있음을 보여준다.
• 한계: 저자들은 복잡한 문맥에서 속성 공간이 과도해질 가능성, 적응형 의도 예측의 어려움, 그리고 "속성"과 근본적인 콘텐츠 구조 변경(예: 하드코딩된 형태 vs 절차적 형태) 사이의 모호함 등의 한계를 겸허히 인정한다. 결론적으로 Spatula는 기존 워크플로우를 완전히 대체하기보다는 이를 보완하는 접근법으로 기능한다.