1. 연구 배경 및 문제 정의 (Problem)

• 주제 분석 (Thematic Analysis, TA) 의 확장성 문제: 질적 연구에서 주제 분석은 반복적인 코딩, 비교, 추상화, 주제 정제 과정을 거치며, 이는 인간의 해석적 노력과 문서화에 의존합니다. 수동 워크플로는 노동 집약적이며 확장하기 어렵습니다.
• 기존 자동화 시스템의 한계:
  • 생산성 중심 도구: 초기 분석 단계의 코드 추천 등에 초점을 맞추지만, 지속적인 피드백 루프나 원칙 학습이 부족합니다.
  • 완전 자동화 시스템: 인간 개입 없이 종단간 (End-to-End) 분석을 수행하지만, 해석의 타당성, 맥락적 근거, 반성적 판단이 결여되어 통제 불가능하고 투명성이 부족합니다.
• 핵심 과제: 자동화의 효율성과 인간의 해석적 통제를 어떻게 조화시켜, 투명하고 통제 가능하며 지속적으로 개선되는 인간 - 에이전트 협업 시스템을 구축할 것인가?

2. 방법론 (Methodology)

CentaurTA Studio 는 웹 기반의 상호작용 시스템으로, Actor-Critic 아키텍처와 지속적인 프롬프트 최적화를 결합한 폐쇄 루프 (Closed-loop) 프로세스를 구현합니다.

2.1 시스템 아키텍처

1. Actor-Critic 모듈:
   • Actor Agent: 연구 배경과 입력 텍스트를 기반으로 구조화된 분석 결과 (오픈 코딩: 코드, 인용구, 참조 / 주제 구성: 주제명, 정의, 코드 집합, 근거) 를 생성합니다.
   • Critic Agent: 생성된 출력물을 평가 기준 (Rubric) 에 따라 평가하고, 이진 판단 (수락/거부) 및 구조화된 피드백을 생성합니다.
2. 2 단계 인간 피드백 파이프라인:
   • 1 단계 (시뮬레이션 인간): 반복적인 작업을 줄이고 불확실한 사례를 식별하기 위해 시뮬레이션된 리뷰어가 초안 피드백과 근거를 생성합니다.
   • 2 단계 (도메인 전문가): 도메인 전문가가 시뮬레이션된 피드백을 실시간으로 검토 및 수정합니다. 최종적으로 전문가가 승인한 피드백만 시스템 개선에 사용됩니다.
3. 프롬프트 최적화 (Prompt Optimization):
   • 모델 가중치를 업데이트하는 대신, 검증된 피드백을 재사용 가능한 정렬 원칙 (Alignment Principles) 으로 증류 (Distill) 합니다.
   • 이 원칙들은 Actor 와 Critic 의 프롬프트를 업데이트하여 다음 배치 처리에 적용되며, 버전 관리가 됩니다.

2.2 평가 및 제어

• 규칙 기반 평가 (Rubric-based Evaluation): 질적 연구 방법론에서 유래한 30 가지 제약 조건 (일반 규칙, 형식/언어적 제약, 도메인 특정 요구사항) 으로 구성된 평가 기준을 사용합니다.
• LLM Judge: 각 제약 조건이 충족되었는지 확인하여 점수를 산출합니다.
• 조기 종료 (Early Stopping): 평가 점수가 임계값에 도달하거나 과도한 반복이 감지되면 프로세스를 자동 종료하여 효율성을 높입니다.

2.3 소프트웨어 구현

• Document Coding Lab: 오픈 코딩 작업을 위한 인터페이스 (입력 문장 배치 처리, 구조화된 코드 생성, Critic 평가, 2 단계 피드백).
• Theme Aggregation Lab: 코드를 기반으로 주제를 추상화하는 인터페이스 (주제 정의, 코드 연결, 근거 제시).

3. 주요 기여 (Key Contributions)

1. 종단간 상호작용 시스템: 구조화된 오픈 코딩과 주제 구성을 수행하는 Actor-Critic 인간 - 에이전트 아키텍처와 지속적 원칙 학습을 통합한 배포 가능한 웹 시스템 (CentaurTA Studio) 을 제시했습니다.
2. 규칙 기반 프로세스 제어: 전문가 평가, 자동 점수 매기기, 항목별 진단, 조기 종료를 지원하는 제약 기반 평가 모듈을 도입하여 분석 과정의 투명성과 통제력을 확보했습니다.
3. 실증적 검증: 3 개 도메인 (자율 학습, 자폐증 취업 지원, 스트레스 감지) 에서의 실험을 통해, 반복적인 전문가 피드백이 에이전트의 정렬, 안정성, 주제 일관성을 향상시킨다는 것을 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교:
  • 오픈 코딩 및 주제 구성: CentaurTA 는 기존 베이스라인 (MindCoder, Atlas.ti) 을 일관되게 능가했습니다.
  • 정확도: 오픈 코딩에서 최대 92.12% 의 정확도를 달성했습니다. (예: USRS 데이터셋에서 90.21%, Dreaddit 에서 92.12%).
  • 학습된 원칙의 일반화: CentaurTA 에서 학습된 정렬 원칙을 다른 시스템 (TA+MC) 에 적용했을 때도 성능이 향상되어, 원칙이 플랫폼 간에 일반화됨을 보였습니다.
• 신뢰성 평가:
  • 규칙 기반 LLM 판정자와 인간 어노테이터 간의 일치도 (Cohen's κ) 는 평균 0.68로 '상당한 (Substantial)' 수준을 보였습니다.
  • LLM 판정자의 평균 정확도 (90%) 는 인간 전문가 (89%) 와 매우 유사했습니다.
• Ablation Study (성분 제거 실험):
  • 피드백 루프 제거: 성능이 90% 에서 81% 로 하락하여, 반복적 정렬이 성능 향상의 핵심임을 입증했습니다.
  • Critic 제거: 성능이 87% 로 하락하여 구조화된 평가 신호의 중요성을 보여줍니다.
  • 프롬프트 최적화 제거: 정확도는 유지되나 처리 시간이 180 분으로 급증하여, 최적화가 효율성 향상에 결정적임을 보였습니다.
  • 최적 성능 도달: 전체 시스템은 약 10 번의 반복 라운드 (약 25 분) 내에 정점 성능에 도달하여, 전문가 단독 수정보다 효율적이었습니다.

5. 의의 및 결론 (Significance)

• 질적 연구의 새로운 패러다임: CentaurTA 는 자동화와 인간 통제의 긴장 관계를 해소하며, 인간 - 에이전트 협업이 단순한 도구를 넘어 자기 개선 (Self-improving) 이 가능한 파트너로 발전할 수 있음을 입증했습니다.
• 투명성과 재현성: 모델 가중치 변경 없이 프롬프트와 원칙을 업데이트하는 방식은 분석 과정의 투명성을 보장하며, 질적 연구의 엄격성 (Rigor) 을 유지합니다.
• 확장성: 수동 워크플로의 노동 집약적 문제를 해결하면서도, 도메인 전문가의 해석적 권위를 유지하는 확장 가능한 프레임워크를 제공합니다.

이 연구는 질적 데이터 분석 분야에서 LLM 기반 에이전트가 인간 전문가의 피드백을 통해 지속적으로 학습하고 정교화될 수 있음을 보여주는 중요한 사례입니다.