AI-Driven Contribution Evaluation and Conflict Resolution: A Framework & Design for Group Workload Investigation

기술 요약: AI 기반 기여도 평가 및 갈등 해결

문제 제기
협력적 그룹 작업 내 개인 기여도의 공정한 평가는 고등교육에서 지속적인 과제로 남아 있습니다. 현재의 관행은 종종 동등한 성적 분배나 주관적인 동료 평가를 의존하는데, 이는 불공정한 평가, '사회적 태만 (social loafing)', 그리고 대인 관계 갈등을 초래할 수 있습니다. AutoRating 시스템 및 동료 평가 플랫폼과 같은 기존 도구들은 행정적 부담, 인기 편향, 그리고 강력한 갈등 해결 메커니즘의 부재로 인해 자주 어려움을 겪습니다. furthermore, 학습 분석 (LA) 과 생성형 AI(GenAI) 가 객관성을 제공할 잠재력을 지니고 있음에도 불구하고, 현재의 구현체들은 투명성, 설명 가능성, 그리고 분쟁 심의에 대한 심층적 통합이 부족합니다. 기관 및 법령 정책을 준수하면서 그룹 작업량 분쟁에 대한 심층적인 AI 지원 조사를 제공하는 시스템에는 명확한 공백이 존재합니다.

방법론 및 프레임워크 설계
저자들은 교수진이 기여도 분쟁을 조사하는 것을 지원하기 위한 AI 강화 도구의 새로운 프레임워크와 구현 설계를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소를 중심으로 구조화되어 있습니다:

1. 3 차원 갈등 프레임워크:
   이 프레임워크는 이질적인 데이터 산출물을 세 가지 주요 차원으로 조직하며, 각 차원은 세 가지 기준으로 세분화됩니다:

   • 기여도: 양 (Quantity) (작업의 원시 볼륨), 품질 (Quality) (루브릭 준수 및 기술 수준), 그리고 관련성 (Relevance) (작업 설명과의 정렬) 을 평가합니다.
   • 상호작용: 어조 (Tone) (행동의 수용 가능성), 효과성 (Effectiveness) (명확성 및 정보 전달), 그리고 현존 (Presence) (참여 및 출석) 을 평가합니다.
   • 역할: 준수 (Adherence) (마감 기한 준수), 조직 (Organisation) (파일 관리 및 조정), 그리고 지원 (Support) (행정적 및 간접적 도움) 을 측정합니다.

2. 구현 파이프라인:
   제안된 시스템 아키텍처는 증거를 다단계 파이프라인을 통해 처리합니다:

   • 데이터 수집: 제출물 (코드, 텍스트, 미디어), 의사소통 (채팅, 이메일), 그리고 조정 기록 (회의 로그, 작업 스레드) 을 수집합니다.
   • 지표 추출: 커밋 횟수, 단어/문자 수, 응답 지연 시간, 감정 점수, 그리고 작업 충실도와 같은 객관적 지표를 계산합니다.
   • 정규화 및 집계: 지표들은 (AutoRating 과 유사한 방법을 사용하여) 정규화되고 가중치 마스크와 함께 집계되어 각 차원의 기본 측정치를 생성합니다.
   • 갈등 마커 생성: 시스템은 각 기본 측정치에 대한 지니 계수를 계산하여 불평등을 정량화합니다. 이는 '과도한 중앙 집중화 (높은 지니 계수, 높은 개인 점수)' 또는 '사회적 태만 (높은 지니 계수, 낮은 개인 점수)'과 같은 특정 갈등 시나리오를 식별합니다.
   • AI 기반 전문가 분석: 대규모 언어 모델 (LLM) 아키텍처가 문맥 분석을 수행합니다. 계층적 프롬프트와 분해된 쿼리를 사용하여 LLM 은 객관적 지표, 플래그가 지정된 갈등 마커, 그리고 주관적 문맥 (예: 동료 피드백, 개인적 상황) 을 종합하여 해석 가능하고 증거 기반의 조언적 판단을 생성합니다. 시스템은 환각을 최소화하고 규제 준수를 보장하기 위해 이중 통과 검증을 사용합니다.

3. 정책 및 윤리적 정렬:
   이 설계는 명시적으로 영국의 데이터 거버넌스 (GDPR, 워릭 대학교 정책) 와 AI 규정을 고려합니다. 이 도구를 자동화된 의사결정자가 아닌 조언적 시스템으로 위치시켜, 교수진이 최종 판단 권한을 유지하는 '휴먼 - 인 - 더 - 루프 (human-in-the-loop)' 접근 방식을 보장합니다. 시스템은 동의 없이 특수 카테고리 데이터를 처리하지 않으며 투명성 요구 사항을 준수합니다.

주요 기여

• 구조화된 갈등 프레임워크: 본 논문은 단순한 동료 평가를 넘어 객관적 산출물 분석과 행동 지표를 포함하는 포괄적인 기준 시스템 (3 개 차원, 9 개 기준) 을 도입합니다.
• 통합된 AI 아키텍처: 이는 정량적 학습 분석 (예: 지니 계수, 버전 관리 로그) 과 정성적 LLM 분석을 결합하여 투명한 조언적 판단을 생성하는 구체적인 파이프라인을 제안합니다.
• 타당성 분석: 저자들은 AI 통합 및 갈등 해결의 공백을 식별하기 위해 기존 도구 (11 개 주요 시스템 조사) 에 대한 상세한 검토를 제공한 후, 조언적 시스템으로 유지된다면 현재 영국의 법령 및 기관 프레임워크 하에서 그러한 시스템이 타당함을 입증하는 엄격한 정책 검토를 이어갑니다.
• 편향 완화 전략: 이 설계는 인기 효과 및 게임화 전략과 같은 문제를 해결하기 위해 정규화 기법, 설문 조사 편향에 대한 교정 조정, 그리고 검증 단계를 포함합니다.

결과 및 주장
이 논문은 배포된 시스템으로부터의 경험적 실험 결과를 제시하기보다는 이론적 및 아키텍처적 기반을 확립합니다. 저자들은 다음과 같이 주장합니다:

• 타당성: 제안된 프레임워크는 엄격한 프로토콜 (예: 데이터 보호 영향 평가) 이 준수된다면 현재 데이터 보호 및 AI 규정과 기술적으로 타당하고 준수 가능합니다.
• 공백 식별: 기존 도구에 대한 조사는 많은 도구가 정규화와 조기 경고 시스템을 제공하지만, AI 를 활용한 심층 갈등 조사나 투명한 설명 가능한 조언적 판단을 제공하는 도구는 드물다는 것을 보여줍니다.
• 잠재적 가치: 저자들은 기존 도구들에 비해 그들의 접근 방식이 갈등 식별에 있어 더 일관되고 동질적인 방법을 제공한다고 주장합니다. 객관적 지표와 문맥적 AI 분석을 결합함으로써, 이 시스템은 행정적 부담을 줄이고, 기술 중심 솔루션에 대한 불신을 감소시키며, 더 공정한 개인 평가를 지원하고자 합니다.

의의
이 작업의 의의는 학습 분석, 동료 평가, 그리고 생성형 AI 사이의 간극을 메우려는 시대에 있습니다. 이는 '휴먼 - 인 - 더 - 루프'에 대한 이론적 논의를 넘어, 복잡한 분쟁 해결에서 인간의 판단을 대체하기보다 보조하는 AI 도구를 위한 구체적인 아키텍처 설계를 제안합니다. 이 논문은 윤리적 및 법적 준수를 유지하면서 그룹 역학의 뉘앙스를 인정하는 투명한 증거 기반 프로세스로부터 불투명하고 주관적인 채점 방식으로의 전환을 옹호합니다. 향후 연구는 이질적 에이전트 간의 평가자 간 신뢰도 향상, LLM 편향 완화, 그리고 교수진이 모델이 생성한 조언과 어떻게 상호작용하는지 연구하는 데 초점을 맞추는 것이 제안됩니다.