기술 요약: "저는 미시적 결정을 내리지 않았습니다": 인간-AI 협업에서의 목표 수준 AI 기여도 측정, 유도 및 노출

문제 제기

대규모 언어 모델 (LLM) 이 사용자가 목표를 형성, 정제 및 확장하는 방식에 점점 더 큰 영향을 미침에 따라, 인간-AI 협업 내 기여도 귀속에 있어 중요한 격차가 존재합니다. 기존 귀속 방법 (예: 텍스트 워터마킹, 스타일메트릭 분석, 턴 단위 추적) 은 결과 지향적으로, 최종 산출물 내 AI 관여를 탐지하는 데 거의 집중합니다. 그러나 이러한 방법들은 목표 자체가 공동으로 형성되는 과정을 포착하지 못합니다. 그 결과, 평가자, 기관 및 사용자는 AI 가 단순히 지시를 실행하는 경우와 사용자가 고려하지 않았던 방향을 제안하거나, 제약을 정제하거나, 구체적인 설계 결정을 내리는 경우를 구별할 수 있는 증거 기반 근거를 갖지 못합니다. 이러한 "AI 주도성"의 불투명성은 사용자가 자신의 의존도를 조정하는 것을 방해하고, 평가자가 AI 지원 작업을 정확하게 평가하는 것을 불가능하게 만듭니다.

방법론: COTRACE 프레임워크

저자들은 COTRACE를 소개합니다. 이는 최종 산출물에서 진화하는 목표 구조로 분석 단위를 전환함으로써 협업 전 과정에 걸쳐 인간과 AI 의 기여도를 측정하도록 설계된 자동화 프레임워크입니다.

핵심 설계 선택

1. 목표 및 요구사항 분해:

   • 목표: 원하는 결과를 가진 명시적이고 실행 가능한 목표로 정의됩니다 (예: "맨해튼 뉴욕 종일 일정").
   • 요구사항: 목표는 세분화되고 독립적으로 검증 가능한 성공 서술어 (체크리스트식 기준) 로 분해됩니다.
   • 계층 구조: 목표는 상위 목표(전체 목적) 와 하위 목표(구체적 하위 작업) 로 계층적으로 조직되며, 모두 개별 요구사항과 연결됩니다.
   • 행동: 대화 발화는 요구사항 반복을 위한 단위로 사용되는 원자적 행동(예: 요청, 제약, 코드 제공) 으로 분해됩니다.

2. 직접 및 간접 영향 모델링:

   • 직접 기여: 행동이 명시적으로 요구사항을 도입하거나 수정합니다.
   • 간접 영향: 행동이 나중에 요구사항을 동기화하는 맥락을 제공합니다 (예: 명확화 질문, 초안 산출물, 또는 노출된 오류). 이는 AI 가 인간이 구체적인 요구사항으로 발전시키는 "씨앗을 심는" 일반적이지만 종종 보이지 않는 AI 기여 형태를 포착합니다.

파이프라인 구현

COTRACE 는 네 단계에 걸쳐 LLM 을 판사로서 활용하는 자동화 파이프라인으로 작동합니다:

1. 결과 및 행동 추출: 대화가 세그먼트화되고, LLM 이 원하는 결과를 식별하여 메시지를 원자적 행동으로 분해하며, 역할을 할당합니다: 형성자(목표/요구사항 제안), 실행자(행동 수행), 또는 기타.
2. 요구사항 추출: 각 결과에 대한 요구사항을 추출하여 기원과 기여 행동과 연결하고, 생성 (CREATE), 수정 (REVISE), 삭제 (DELETE) 작업을 통해 버전 이력을 구축합니다.
3. 영향 라벨링: 임의 행동 - 요구사항 쌍은 임베딩 유사성으로 필터링되고, 직접 연결, 암시적 연결, 또는 연결 없음으로 평가하기 위해 LLM-판사에 의해 평가됩니다.
4. 기여도 정량화: 영향 점수는 화자 수준 및 역할 수준 기여도 행렬로 집계되어 누가 어떤 목표를 어떻게 형성했는지 정량화할 수 있게 합니다.

주요 연구 및 결과

1. 실제 환경에서의 협업적 목표 형성 측정

이 프레임워크는 ShareChat 데이터셋의 638 개 실제 협업 로그에 적용되었으며, 네 가지 도메인 (컴퓨터 프로그래밍, 데이터 분석, 작성, 계획) 에 걸쳐 수행되었습니다.

• 방향성 vs. 구체성: 인간은 전체 목표 형성 (7589% 의 "형성자" 비중) 을 주도하는 반면, LLM 은 실행 (9699% 의 "실행자" 비중) 을 주도합니다. 그러나 목표가 더 구체화됨에 따라 LLM 의 목표 형성 기여도는 증가합니다. 모델은 상위 결과를 형성하는 경우는 드물지만 하위 결과 및 개별 요구사항에는 크게 기여합니다.
• 작업 의존성: 기술적이고 닫힌 질문형 작업 (프로그래밍, 데이터 분석) 에서 LLM 은 요구사항 생성에 점점 더 활발해져 결국 데이터 분석 분야에서 사용자를 능가합니다. 열린 질문형 작업 (작성, 계획) 에서는 인간의 기여가 여전히 주도적입니다.
• 구현 세부사항: 모델은 사용자가 거의 명시하지 않는 하위 수준, 구현 지향적 요구사항 (예: 기술적 제약, 환경 가정) 을 자주 도입합니다.
• 간접 영향 패턴: 이 연구는 간접 영향의 11 가지 반복적 상호작용 하위 유형을 식별하여 네 가지 범주로 그룹화했습니다:
  • 미세화된 의도/선호: 광범위한 목표에서 구체적인 요구사항을 추론.
  • 산출물 유발 심화: 제공된 산출물이나 맥락에서 요구사항 유도.
  • 문제 유발 수정: 노출된 어려움에 기반한 교정 요구사항 추가.
  • 상호작용적 유도: 옵션이나 요청을 통해 새로운 요구사항을 위한 기회 창출.
• 시스템 설정: 채팅 기반 시스템은 자율 에이전트 설정에 비해 요구사항 생성에 대한 사용자 기여도가 현저히 높았으며, 이는 에이전트가 더 높은 자율성에도 불구하고 목표 형성 주도성을 덜 행사함을 시사합니다.

2. 추론 시 목표 형성 유도

CoGym 프레임워크를 사용한 통제된 시뮬레이션을 통해 저자들은 상호작용 설계가 모델의 목표 형성 행동을 제어할 수 있는지 조사했습니다.

• 프롬프트 개입: 간접 영향 패턴에서 도출된 전략 (특히 미세화 및 상호작용적 유도) 은 요구사항 생성에 대한 어시스턴트 기여도를 크게 증가시켰습니다. 미세화 조건에서 어시스턴트 기여도는 약 30% 에서 약 70% 로 상승했습니다.
• 상호작용 설계: 에이전트가 행동 전에 의사소통하도록 요구하는 것 (Chat-CoGym 대 Agentic-CoGym) 은 모델의 목표 형성을 거의 두 배로 늘렸습니다 (42.9% 대 24.5% 의 요구사항). 이 설계는 에이전트가 침묵하고 행동하는 대신 계획을 명확히 표현하도록 강제합니다.
• 결과 품질: 목표 형성이 성공적으로 유도되었지만, 이는 전체 출력 품질이나 요구사항 만족률을 명확하게 향상시키지 않았습니다. 이는 하향 작업 성공을 개선하기 위해서는 단순히 AI 주도성을 증폭하는 것만으로는 부족하며 더 나은 정렬 훈련이 필요함을 시사합니다.

3. 사용자에게 목표 수준 역학 노출

10 명의 참가자(5 쌍) 를 대상으로 한 사용자 연구는 기여도 역학을 시각화하는 대화형 도구인 COTRACE-viewer를 평가했습니다.

• 인지 변화: 목표 수준 분석에 노출된 후 참가자들의 인식이 크게 변화했습니다. 참가자들은 도구를 사용한 후 자신의 실행 기여도를 5 점 척도에서 거의 2 점 낮게 평가한 반면, LLM 의 실행 기여도는 더 높게 평가했습니다.
• 인식: 10 명 중 9 명이 이 도구가 특히 명시적 입력 없이 이루어지는 AI 의 "숨겨진 의사결정" 및 미시적 결정과 같이 이전에 인지하지 못했던 협업 측면을 발견하는 데 도움이 되었다고 보고했습니다.
• 성찰: 이 도구는 사용자에게 프롬프트 관행에 대해 성찰하도록 유도했으며, 일부는 향후 상호작용에서 더 구체적일 필요가 있음을 지적했습니다.
• 인간 vs. AI: 인간-AI 협업은 인간이 형성을 주도하고 AI 가 실행을 지원하는 더 비대칭적이며, 간접 영향에 더 크게 의존하는 반면, 인간-인간 협업은 더 균형 잡히고 "오가는" 형태였습니다.

중요성 및 주장

이 논문은 AI 지원 작업이 평가, 인정 또는 규제되는 환경에서 원칙적 귀속의 기반을 확립한다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

1. 평가 인프라: 이는 현재 결과 지향적 도구의 한계를 해결하고, 목표와 요구사항이 어떻게 공동으로 구축되는지 추적하는 것으로 산출물 수준 분석을 넘어선 측정 프레임워크를 제공합니다.
2. 설계 레버: 상호작용 설계 선택 (예: 행동 전 의사소통 강제) 과 프롬프트 전략이 모델의 목표 형성 행동을 크게 증폭하거나 억제할 수 있음을 보여주어 시스템 설계자를 위한 실행 가능한 레버를 제공합니다.
3. 사용자 인식: 목표 수준 역학을 노출함으로써 사용자가 자신과 AI 의 기여도를 인식하는 체계적인 오조정을 수정하고 더 의도적인 협업을 촉진할 수 있음을 보여줍니다.

저자들은 목표 형성이 협업의 핵심이지만, 모델 주도성을 높이는 것이 자동으로 최종 결과를 개선하는 것은 아니라고 결론지으며, 협업 행동을 작업 품질과 더 잘 정렬시키는 개입의 필요성을 강조합니다. 그들은 COTRACE 를 목표 수준 기여도를 가시화하는 도구로 위치시켜 더 투명하고 책임 있으며 인간 중심적인 인간-AI 협업을 지원한다고 주장합니다.