AI-Driven Contribution Evaluation and Conflict Resolution: A Framework & Design for Group Workload Investigation

Resumen Técnico: Evaluación de Contribuciones Impulsada por IA y Resolución de Conflictos

Declaración del Problema
La evaluación equitativa de las contribuciones individuales dentro del trabajo en grupo colaborativo sigue siendo un desafío persistente en la educación superior. Las prácticas actuales a menudo dependen de la distribución igualitaria de calificaciones o de evaluaciones subjetivas entre pares, lo que puede dar lugar a evaluaciones injustas, "vagancia social" y conflictos interpersonales. Las herramientas existentes, como los sistemas de AutoCalificación y las plataformas de evaluación entre pares, frecuentemente sufren de cargas administrativas, sesgos de popularidad y una falta de mecanismos robustos de resolución de conflictos. Además, aunque el Análisis de Aprendizaje (LA) y la Inteligencia Artificial Generativa (GenAI) ofrecen potencial para la objetividad, las implementaciones actuales a menudo carecen de transparencia, explicabilidad e integración profunda en la adjudicación de disputas. Existe una brecha definitiva en los sistemas que proporcionan una investigación en profundidad asistida por IA sobre disputas de carga de trabajo grupal, mientras se adhieren a políticas institucionales y estatutarias.

Metodología y Diseño del Marco
Los autores proponen un marco novedoso y un diseño de implementación para una herramienta potenciada por IA destinada a asistir a los instructores en la investigación de disputas sobre contribuciones. La metodología se estructura en torno a tres componentes principales:

1. Marco de Conflicto Tridimensional:
   El marco organiza artefactos de datos heterogéneos en tres dimensiones principales, cada una subdividida en tres criterios de referencia:

   • Contribución: Evalúa la Cantidad (volumen bruto de trabajo), la Calidad (adherencia a rúbricas y nivel de habilidad) y la Relevancia (alineación con las descripciones de tareas).
   • Interacción: Evalúa el Tono (aceptabilidad conductual), la Eficacia (claridad y retransmisión de información) y la Presencia (compromiso y asistencia).
   • Rol: Mide la Adherencia (cumplimiento de plazos), la Organización (gestión de archivos y coordinación) y el Apoyo (ayuda administrativa e indirecta).

2. Pipeline de Implementación:
   La arquitectura del sistema propuesto procesa la evidencia a través de un pipeline de múltiples etapas:

   • Ingesta de Datos: Recopila envíos (código, texto, medios), comunicaciones (chat, correo electrónico) y registros de coordinación (registros de reuniones, hilos de tareas).
   • Extracción de Métricas: Calcula métricas objetivas como conteos de confirmaciones (commits), conteos de palabras/caracteres, latencia de respuesta, puntuaciones de sentimiento y fidelidad de tareas.
   • Normalización y Agregación: Las métricas se normalizan (utilizando métodos similares a AutoCalificación) y se agregan con máscaras ponderadas para producir medidas base para cada dimensión.
   • Generación de Marcadores de Conflicto: El sistema calcula el índice de Gini para cada medida base para cuantificar la desigualdad. Identifica escenarios de conflicto específicos, como "sobre-centralización" (alto índice de Gini, alta puntuación individual) o "vagancia social" (alto índice de Gini, baja puntuación individual).
   • Análisis de Expertos Impulsado por IA: Una arquitectura de Modelo de Lenguaje Grande (LLM) realiza un análisis contextual. Utilizando prompts jerárquicos y consultas descompuestas, el LLM sintetiza métricas objetivas, marcadores de conflicto señalados y contexto subjetivo (por ejemplo, retroalimentación de pares, circunstancias personales) para generar juicios consultivos interpretables y basados en evidencia. El sistema emplea una validación de doble paso para minimizar las alucinaciones y garantizar el cumplimiento normativo.

3. Alineación con Políticas y Ética:
   El diseño cuenta explícitamente con la gobernanza de datos del Reino Unido (GDPR, políticas de la Universidad de Warwick) y las regulaciones de IA. Posiciona la herramienta como un sistema consultivo en lugar de un tomador de decisiones automatizado, asegurando un enfoque de "humano en el bucle" donde el instructor retiene la autoridad final de juicio. El sistema evita procesar datos de categorías especiales sin consentimiento y se adhiere a los requisitos de transparencia.

Contribuciones Clave

• Un Marco de Conflicto Estructurado: El artículo introduce un sistema integral de criterios de referencia (3 dimensiones, 9 criterios) que va más allá de las simples calificaciones entre pares para incluir el análisis de artefactos objetivos e indicadores conductuales.
• Arquitectura de IA Integrada: Propone un pipeline específico que combina Análisis de Aprendizaje cuantitativo (por ejemplo, índices de Gini, registros de control de versiones) con análisis cualitativo de LLM para generar juicios consultivos transparentes.
• Análisis de Viabilidad: Los autores proporcionan una revisión detallada de herramientas existentes (encuestando 11 sistemas principales) para identificar brechas en la integración de IA y la resolución de conflictos, seguida de una revisión normativa rigurosa que demuestra que un sistema de este tipo es viable bajo los marcos estatutarios e institucionales actuales del Reino Unido, siempre que permanezca consultivo.
• Estrategias de Mitigación de Sesgos: El diseño incorpora técnicas de normalización, ajustes correctivos para sesgos en encuestas y pasos de validación para abordar problemas de efectos de popularidad y estrategias de manipulación.

Resultados y Afirmaciones
El artículo no presenta resultados experimentales empíricos de un sistema desplegado, sino que establece una base teórica y arquitectónica. Los autores afirman:

• Viabilidad: El marco propuesto es técnicamente viable y cumple con las regulaciones actuales de protección de datos e IA, siempre que se sigan protocolos estrictos (por ejemplo, Evaluaciones de Impacto en la Protección de Datos).
• Identificación de Brechas: Una encuesta de herramientas existentes revela que, aunque muchas ofrecen normalización y sistemas de alerta temprana, pocas utilizan IA para la investigación profunda de conflictos o proporcionan juicios consultivos transparentes y explicables.
• Valor Potencial: Los autores argumentan que su enfoque ofrece un método más consistente y homogéneo para la identificación de conflictos en comparación con las herramientas existentes. Al combinar métricas objetivas con análisis contextual de IA, el sistema busca reducir las cargas administrativas, disminuir la desconfianza en soluciones tecnocráticas y apoyar evaluaciones individuales más justas.

Significado
El significado de este trabajo radica en su intento de cerrar la brecha entre el Análisis de Aprendizaje, la Evaluación entre Pares y la Inteligencia Artificial Generativa. Va más allá de la discusión teórica del "humano en el bucle" para proponer un diseño arquitectónico concreto de una herramienta de IA que asiste en lugar de reemplazar el juicio humano en la resolución compleja de disputas. El artículo aboga por un cambio desde la calificación opaca y subjetiva hacia un proceso transparente y basado en evidencia que reconoce los matices de la dinámica grupal mientras mantiene el cumplimiento ético y legal. Se sugiere que el trabajo futuro se centre en mejorar la fiabilidad interevaluadores con agentes heterogéneos, mitigar el sesgo de los LLM y estudiar cómo los instructores interactúan con los consejos generados por el modelo.