Agile Deliberation: Concept Deliberation for Subjective Visual Classification

1. 문제 정의 (Problem)

• 주관적 개념의 모호성: 기존의 컴퓨터 비전 연구는 '개', '자동차'와 같이 명확하게 정의된 객체를 인식하는 데 집중해 왔습니다. 하지만 실제 응용 (예: "안전하지 않은 이미지", "고급스러운 음식") 에서는 개념의 경계가 모호하고 주관적이며, 사용자마다 해석이 다릅니다.
• 기존 방법론의 한계:
  • 기존 인간-루프 방법론 (예: Agile Modeling) 은 사용자가 처음부터 명확하고 안정적인 개념 정의를 가지고 있다고 가정합니다.
  • 실제로는 사용자가 막연한 아이디어로 시작하여, 경계 사례 (borderline cases) 를 탐색하고 반복적으로 정의를 수정하는 '개념 숙고 (Concept Deliberation)' 과정이 필수적입니다.
  • 대규모 언어 모델 (LLM) 이나 시각 - 언어 모델 (VLM) 을 사용한 프롬프트 기반 접근법도 사용자가 명확한 정의를 제공하지 않으면 임의의 결정을 내리거나 의도된 경계를 포착하지 못합니다.
• 핵심 과제: 사용자가 개념을 명확히 정의하는 과정에서 발생하는 인지적 부하를 줄이고, 사용자의 진화하는 의도 (evolving intent) 를 모델에 효과적으로 반영하여 고품질의 분류기를 만드는 방법론이 필요합니다.

2. 방법론: Agile Deliberation 프레임워크

이 프레임워크는 실제 콘텐츠 규제 전문가들의 인터뷰와 작업을 분석하여 설계되었으며, 두 가지 주요 단계로 구성됩니다.

2.1. 개념 범위 설정 (Concept Scoping)

• 목적: 사용자가 입력한 초기 주관적 개념 (예: "건강한 음식") 을 구조화된 하위 개념 (sub-concepts) 의 계층 구조로 분해합니다.
• 프로세스:
  • 프롬프트 체이닝 (Prompt-chained reasoning) 을 사용하여 개념을 단순한 단위 개념으로 분해합니다.
  • 각 단위 개념에 대해 긍정적 (in-scope) 과 부정적 (out-of-scope) 인 하위 개념 후보들을 생성하고, 관련 이미지를 검색하여 사용자에게 제시합니다.
  • 사용자가 각 하위 개념의 포함 여부를 결정함으로써 초기 구조화된 정의 ($d_0$) 를 완성합니다.

2.2. 개념 반복 (Concept Iteration)

• 목적: 초기 정의를 기반으로 사용자의 피드백을 통해 개념을 점진적으로 정제하고 분류기 성능을 향상시킵니다.
• 핵심 메커니즘:
  • 경계 이미지 검색 (Borderline Image Retrieval): 기존 활성 학습 (Active Learning) 이 모델의 확률적 불확실성 (예: 0.5 확률) 에 의존하는 것과 달리, 이 시스템은 의미론적 경계 (Semantic Borderline) 에 있는 이미지를 찾습니다. 즉, 현재 정의에 따라 모호한 이미지들을 LLM/VLM 추론을 통해 식별합니다.
  • 클러스터링 및 선택: 검색된 이미지들을 시각적 특징에 따라 클러스터링하고, 다중 암 밴딧 (Multi-armed Bandit) 알고리즘 (UCB) 을 사용하여 사용자의 피드백이 가장 유익하거나 모델과 의견이 다른 클러스터를 선택합니다.
  • 개념 정제 (Concept Refinement): 사용자는 경계 이미지를 라벨링하고 (In-scope/Out-of-scope) 간단한 피드백을 제공합니다. 시스템은 이 피드백을 자동으로 확장하여 새로운 프롬프트 후보들을 생성하고, 기존 라벨링 데이터 ($L_t$) 에 대한 F1 점수를 최적화하는 정의 ($d_{t+1}$) 를 선택합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 주관적 개념의 진화 과정을 명시적으로 지원하는 'Agile Deliberation' 프레임워크를 제안했습니다. 이는 단순한 라벨링을 넘어 사용자가 개념의 경계를 스스로 발견하고 정의하도록 돕습니다.
2. 의미론적 경계 사례 중심 접근: VLM 의 예측 불확실성이 인간의 직관과 일치하지 않을 수 있음을 인지하고, 모델 중심의 활성 학습 대신 의미론적으로 모호한 예시를 선별하여 사용자의 사고를 자극합니다.
3. 실제 사용자 평가를 통한 검증: 고정된 벤치마크 데이터셋 대신, 18 회의 실제 사용자 세션 (각 1.5 시간) 을 통해 시스템을 평가했습니다. 이는 주관적 개념의 동적 변화를 포착하는 데 필수적인 접근법입니다.

4. 실험 결과 (Results)

연구진은 9 명의 참가자를 대상으로 'Paid to Play (과도한 보상 약속)'와 'Healthy Food (건강한 음식)'라는 두 가지 주관적 개념에 대해 실험을 수행했습니다.

• 분류 성능 향상:
  • Zero-shot Baseline 대비: Agile Deliberation 은 평균 10.5%, Modeling Collaborator (자동 분해) 대비 7.5% 높은 F1 점수를 기록했습니다.
  • 수동 숙고 (Manual Deliberation) 대비: 사용자가 직접 경계 이미지를 검색하고 프롬프트를 수정하는 방식보다 3% 이상 높은 성능을 보였습니다.
  • 정밀도 (Precision) 개선: 특히 정밀도가 크게 향상되어, 모델이 불필요한 이미지를 포함하는 오류를 줄였습니다.
• 사용자 경험 (UX) 개선:
  • 참가자들은 Agile Deliberation 을 사용할 때 개념을 정의하는 데 필요한 인지적 노력 (Cognitive Effort) 이 유의미하게 낮았으며, 좌절감이 적었다고 보고했습니다.
  • 시스템이 자동으로 경계 사례를 제시하고 프롬프트를 최적화해 줌으로써, 비전문가도 복잡한 개념을 쉽게 분류기에 인코딩할 수 있게 되었습니다.

5. 의의 및 결론 (Significance)

• AI 와 인간의 정렬 (Alignment): 이 연구는 AI 모델이 인간의 미묘한 의도와 가치관을 이해하도록 돕는 새로운 패러다임을 제시합니다. 특히 콘텐츠 규제와 같이 높은 리스크가 따르는 분야에서, 사후 대응이 아닌 사전에 세밀한 위험을 예측할 수 있는 분류기 설계를 가능하게 합니다.
• 접근성 확대: 복잡한 개념 정의를 전문가뿐만 아니라 일반 사용자도 수행할 수 있도록 장벽을 낮추어, 더 많은 사람이 자신의 관점을 비전 시스템에 반영할 수 있게 합니다.
• 미래 방향: 주관적 개념 분류의 표준이 되는 프레임워크로서, 다양한 VLM 모델로의 전이 가능성 (Transferability) 을 확인했으며, 향후 더 넓은 개념과 사용자 풀을 대상으로 한 연구가 필요함을 제시했습니다.

요약하자면, Agile Deliberation은 사용자가 막연한 아이디어를 명확한 규칙으로 발전시키는 과정을 시스템이 지원함으로써, 주관적 시각 분류의 정확도를 높이고 사용자의 인지적 부담을 줄이는 혁신적인 인간-루프 시스템입니다.