AI-Driven Contribution Evaluation and Conflict Resolution: A Framework & Design for Group Workload Investigation

技术摘要：AI 驱动的贡献评估与冲突解决

问题陈述
在高等教育中，公平评估协作小组工作中的个人贡献仍是一个持续存在的挑战。当前的做法往往依赖均等的成绩分配或主观的同伴评估，这可能导致评估不公、“社会懈怠”以及人际冲突。现有工具（如 AutoRating 系统和同伴评估平台）经常面临行政负担、受欢迎程度偏见以及缺乏强有力的冲突解决机制等问题。此外，尽管学习分析（LA）和生成式人工智能（GenAI）为客观性提供了潜力，但当前的实施往往缺乏透明度、可解释性，且未能深入整合到纠纷裁决中。目前缺乏能够深入进行 AI 辅助的小组工作量纠纷调查，同时又能遵守机构及法定政策的系统。

方法论与框架设计
作者提出了一种新颖的框架及实施设计，旨在开发一种 AI 增强型工具，协助教师调查贡献纠纷。该方法论围绕三个核心组件构建：

1. 三维冲突框架：
   该框架将异构数据工件组织为三个主要维度，每个维度细分为三个基准：

   • 贡献： 评估数量（工作原始体量）、质量（对评分标准的遵守程度及技能水平）和相关性（与任务描述的一致性）。
   • 互动： 评估语气（行为的可接受性）、有效性（清晰度与信息传递）和参与度（投入程度与出勤情况）。
   • 角色： 衡量遵守情况（截止日期合规性）、组织性（文件管理与协调）和支持（行政及间接帮助）。

2. 实施流程：
   拟议的系统架构通过多阶段流程处理证据：

   • 数据摄入： 收集提交物（代码、文本、媒体）、通讯记录（聊天、邮件）及协调记录（会议日志、任务线程）。
   • 指标提取： 计算客观指标，如提交次数、字数/字符数、响应延迟、情感得分及任务保真度。
   • 归一化与聚合： 对指标进行归一化（使用类似于 AutoRating 的方法），并结合加权掩码进行聚合，以生成每个维度的基础度量。
   • 冲突标记生成： 系统计算每个基础度量的基尼指数以量化不平等性。它识别特定的冲突场景，例如“过度集中”（高基尼指数、高个人得分）或“社会懈怠”（高基尼指数、低个人得分）。
   • AI 驱动的专家分析： 大型语言模型（LLM）架构执行上下文分析。利用分层提示和分解查询，LLM 综合客观指标、标记的冲突标记以及主观背景（如同伴反馈、个人情况），生成可解释的、基于证据的建议性判断。系统采用双重验证以最大限度地减少幻觉并确保符合监管要求。

3. 政策与伦理对齐：
   该设计明确考虑了英国数据治理（GDPR、华威大学政策）及 AI 法规。它将工具定位为建议系统而非自动决策者，确保采用“人在回路”的方法，即教师保留最终判断权。系统避免在未经同意的情况下处理特殊类别数据，并遵守透明度要求。

主要贡献

• 结构化冲突框架： 本文介绍了一套全面的基准系统（3 个维度，9 个基准），超越了简单的同伴评分，纳入了客观工件分析和行为指标。
• 集成 AI 架构： 提出了一种特定的流程，将定量学习分析（如基尼指数、版本控制日志）与定性 LLM 分析相结合，以生成透明的建议性判断。
• 可行性分析： 作者详细审查了现有工具（调查了 11 个主要系统），以识别 AI 集成和冲突解决方面的差距，随后进行了严格的政策审查，证明只要该系统保持建议性质，在现行的英国法定和机构框架下是可行的。
• 偏见缓解策略： 设计纳入了归一化技术、针对调查偏见的校正调整以及验证环节，以解决受欢迎程度效应和博弈策略等问题。

结果与主张
本文并未展示已部署系统的实证实验结果，而是确立了理论和架构基础。作者主张：

• 可行性： 只要遵循严格的协议（例如数据保护影响评估），所提出的框架在技术上是可行的，并且符合当前的数据保护和 AI 法规。
• 差距识别： 对现有工具的调查显示，虽然许多工具提供归一化和预警系统，但很少有工具利用 AI 进行深入冲突调查，或提供透明、可解释的建议性判断。
• 潜在价值： 作者认为，与现有工具相比，他们的方法提供了一种更一致、更同质化的冲突识别方法。通过将客观指标与上下文 AI 分析相结合，该系统旨在减少行政负担，降低对技术官僚解决方案的不信任，并支持更公平的个人评估。

意义
这项工作的意义在于试图弥合学习分析、同伴评估和生成式人工智能之间的差距。它超越了“人在回路”的理论讨论，提出了一种具体的 AI 工具架构设计，旨在复杂纠纷解决中辅助而非取代人类判断。本文倡导从不透明、主观的评分转向透明、基于证据的流程，该流程在承认群体动态细微差别的同时，保持伦理和法律的合规性。未来的工作建议集中在提高异构代理间评分者的一致性、缓解 LLM 偏见，以及研究教师如何与模型生成的建议进行互动。