Exploring and Testing Skill-Based Behavioral Profile Annotation: Human Operability and LLM Feasibility under Schema-Guided Execution

논문 요약: 스킬 기반 행동 프로파일 (BP) 주석의 인간 실행 가능성과 LLM 의 실행 가능성

1. 연구 배경 및 문제 제기 (Problem)

• 행동 프로파일 (Behavioral Profile, BP) 주석의 복잡성: BP 주석은 단일 언어 차원이 아닌 어휘, 구문, 의미, 결합, 화용론 등 여러 차원을 동시에 코딩해야 하는 매우 까다로운 작업입니다. 기존 연구들은 이를 하나의 단일 작업 (monolithic task) 으로 간주하여 자동화 가능성을 평가해 왔으나, 이는 BP 주석 내부의 이질성을 무시하는 접근입니다.
• LLM 자동화의 한계: 최근 대규모 언어 모델 (LLM) 이 다양한 언어 태스크에서 인간 주석가 수준에 근접하거나 이를 능가한다는 결과가 나오지만, BP 와 같은 다차원 주석 작업에서는 모델이 특정 기능 (feature) 에서는 잘 작동하지만 다른 기능에서는 실패하는 등 성능 편차가 큽니다.
• 핵심 질문: "BP 주석 전체를 자동화할 수 있는가?"라는 질문 대신, **"스키마 (schema) 기반 실행 조건 하에서 BP 의 어떤 개별 '주석 스킬 (annotation skills)'이 실행 가능한가?"**를 규명하는 것이 더 중요하다는 문제의식을 가집니다.

2. 방법론 (Methodology)

이 연구는 BP 주석을 단일 작업이 아닌 **주석 스킬의 묶음 (bundle of skills)**으로 재정의하고, 스킬 파일 기반 (skill-file-driven) 파이프라인을 구축하여 실험을 진행했습니다.

• 데이터: 중국어 은유적 색상어 파생어 30 개에 대한 3,134 개의 코퍼스 라인 (concordance lines) 을 사용했습니다.
• 스키마 및 스킬: 14 가지 BP 특성 (단어 품사, 구문 기능, 의미 역할, 결합 패턴 등) 을 각각 독립적인 '주석 스킬'로 정의했습니다. 각 스킬은 외부 스키마 파일에 정의된 레이블, 결정 규칙, 예시, 출력 제약을 따릅니다.
• 인간 주석 프로토콜 (2 라운드):
  • 2 명의 인간 주석가가 300 개의 검증 세트를 2 라운드에 걸쳐 주석했습니다.
  • 1 라운드: 스키마만 제공된 상태에서 초기 주석 수행 (냉간 실행 가능성 측정).
  • 2 라운드: 1 라운드에서 불일치한 항목만 재주석 (집중 재주석).
  • 이를 통해 스킬을 **① 직접 실행 가능 (Directly Operable), ② 집중 재주석으로 회복 가능 (Recoverable), ③ 구조적으로 미명시 (Structurally Underspecified)**로 분류했습니다.
• 모델 평가:
  • GPT-5.4 (OpenAI): 프론트라인 폐쇄형 모델.
  • 오픈소스 모델 3 개 (Qwen2.5-7B, GLM-4-9B, Yi-1.5-9B): 로컬 배포 가능 모델.
  • 모든 모델은 동일한 스킬 파일 기반 파이프라인 (스키마, 프롬프트 템플릿, 런너 설정) 을 통해 실행되었습니다.
• 평가 프레임워크:
  • 스킬 레벨: 인간과 GPT 가 동일한 스킬을 얼마나 어렵게 느끼는지 상관관계 분석.
  • 인스턴스 레벨: 특정 코퍼스 라인에서 인간과 모델이 동일한 오류를 범하는지 분석.
  • 어휘 항목 레벨: 특정 단어에 대한 난이도 분포의 일치성 분석.

3. 주요 기여 (Key Contributions)

1. 스킬 기반 주석 관점의 제안: BP 주석을 단일 태스크가 아닌 이질적인 스킬들의 집합으로 분해하여, 자동화 가능성은 '전체 작업'이 아닌 '개별 스킬'의 속성임을 규명했습니다.
2. 스킬 실행 가능성의 3 단계 분류: 인간 주석 프로토콜을 통해 스킬을 '직접 실행 가능', '회복 가능', '구조적 미명시'로 분류하는 진단적 프레임워크를 제시했습니다.
3. 공유된 분류체계, 독립적 실행 (Shared Taxonomy, Independent Execution): 인간과 LLM 이 스킬의 전반적인 난이도 순위 (Taxonomy) 에서는 높은 상관관계를 보이지만, 구체적인 인스턴스나 단어 단위에서는 오류 분포가 완전히 독립적임을 발견했습니다.
4. LLM 의 역할 재정의: LLM 을 인간 주석가의 '대체자'가 아닌, 동일한 스킬 공간 내에서 작동하지만 독립적인 오류 패턴을 가진 **'제 3 의 주석 목소리 (Third Skill Voice)'**로 해석하는 새로운 관점을 제시했습니다.

4. 주요 결과 (Results)

• 스킬의 이질성: 14 개 스킬 중 5 개는 1 라운드에서 직접 실행 가능, 4 개는 집중 재주석 후 회복 가능, 5 개는 구조적으로 미명시 (스키마만으로는 안정적 실행 불가) 로 분류되었습니다.
• GPT-5.4 의 성능:
  • 유지된 10 개 스킬에서 GPT-5.4 는 상당한 신뢰도 (정확도 0.678, Kappa 0.665, 가중 F1 0.695) 를 보였습니다.
  • 그러나 이 성능은 전역적 (global) 이 아니라 선택적 (selective) 이며, 스킬 실행 가능성에 따라 편차가 큽니다.
• 난이도 상관관계:
  • 스킬 레벨: 인간과 GPT 의 난이도 프로파일 상관관계가 매우 높음 ($r = 0.881$). (어떤 스킬이 어려운지 두 주체가 일치함)
  • 인스턴스/어휘 레벨: 상관관계가 거의 0 에 가까움 ($r \approx 0.016, -0.142$). (어떤 구체적인 데이터에서 틀리는지는 서로 다름)
  • 이는 "공유된 분류체계, 독립적 실행" 패턴을 입증합니다.
• 오픈소스 모델의 실패: 오픈소스 모델 (7B~9B) 은 언어 이해 부족보다는 스키마 - 스킬 실행 (schema-to-skill execution) 문제, 특히 레이블 매핑 및 포맷 준수 실패에 집중되어 실패했습니다.

5. 의의 및 시사점 (Significance)

• 자동화 평가의 패러다임 전환: "작업 전체의 자동화" 여부를 묻는 대신, "스키마 기반 실행 하에서 어떤 스킬이 실행 가능한가"를 평가하는 스킬 실행 가능성 (Skill Feasibility) 중심의 접근이 필요합니다.
• 효율적인 워크플로우 설계:
  1. 스키마를 스킬 목록으로 정의.
  2. 인간 파일럿 주석을 통해 스킬의 실행 가능성 (직접/회복/미명시) 진단.
  3. 실행 가능한 스킬 subset 에만 LLM 을 '제 3 의 주석 목소리'로 투입.
  4. 인간 - 인간 - LLM 의 삼각측량 (triangulation) 을 통해 최종 골드 (Gold Standard) 구축.
• LLM 의 전략적 활용: LLM 을 인간을 완전히 대체하는 도구가 아니라, 인간 주석가와 상호보완적이며 독립적인 오류 패턴을 가진 보조 주석가로 활용함으로써 주석의 다양성과 신뢰성을 높일 수 있습니다.
• 스키마 설계의 중요성: 구조적으로 미명시된 스킬은 아무리 강력한 LLM 을 사용해도 자동화하기 어렵습니다. 따라서 스키마 설계 단계에서 스킬의 실행 가능성을 고려하는 것이 필수적입니다.

결론적으로, 이 논문은 BP 주석과 같은 복잡한 언어 태스크에서 LLM 의 성공과 실패를 스킬 단위로 세분화하여 분석함으로써, 보다 정교하고 실용적인 반자동 (semi-automatic) 주석 워크플로우를 제시했습니다.