Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback

Resumen Técnico: Exposía

1. El Problema

La escritura de propuestas de proyectos de investigación (conocidas como exposés en el contexto académico europeo) es una de las competencias más críticas y desafiantes en la educación superior. Sin embargo, existen dos brechas principales:

1. Falta de recursos integrados: Los conjuntos de datos existentes para la evaluación automática de ensayos (AES) se centran en textos persuasivos generales y carecen de feedback, revisiones o puntuaciones de retroalimentación.
2. Crisis de la revisión por pares: Aunque el feedback entre pares es una herramienta pedagógica poderosa, a menudo los estudiantes no reciben instrucción formal sobre cómo escribirlo ni cómo utilizarlo para revisar sus propios textos.
3. Limitaciones actuales: No existen benchmarks públicos que conecten el borrador, el feedback (comentarios en línea y reseñas libres), la revisión final y las puntuaciones humanas detalladas en un solo recurso. Además, la evaluación humana es intensiva en recursos, lo que dificulta la escalabilidad.

2. Metodología y el Dataset Exposía

Los autores presentan Exposía, el primer conjunto de datos público que integra todo el ciclo de escritura académica en un entorno educativo real.

• Contexto de Recolección: Los datos se recopilaron en el curso de grado "Introducción al Trabajo Científico" del Departamento de Ciencias de la Computación de la Universidad Técnica de Darmstadt (Winter 2024).
• Flujo de Trabajo:
  1. Los estudiantes escriben un borrador de propuesta (exposé).
  2. Reciben feedback de dos fuentes:
     • Pares: Revisión ciega doble de otros estudiantes.
     • Instructores: Evaluación experta.
     • El feedback consiste en comentarios en línea (anclados a fragmentos de texto con etiquetas como Fortaleza, Debilidad, Destacado) y reseñas de texto libre.
  3. Los estudiantes revisan el borrador basándose en el feedback para producir la versión final.
• Estructura del Dataset:
  • 55 exposés completos (borrador + final).
  • 306 reseñas de estudiantes.
  • 2,253 comentarios en línea.
  • Puntuaciones humanas detalladas: Tanto los textos como el feedback fueron calificados por instructores utilizando una esquema de rúbrica fina y pedagógicamente fundamentada.
    • Exposés: 36 criterios agrupados en 9 rubros (ej. Motivación, Metodología, Bibliografía).
    • Reseñas: 24 criterios agrupados en 8 rubros (ej. Feed Up, Feed Back, Feed Forward, Calidad del Contenido).
• Ética: La recolección se realizó bajo consentimiento informado y aprobación del IRB, garantizando la privacidad de los estudiantes.

3. Contribuciones Clave

1. Nuevo Dataset Público: Exposía es el primer recurso que vincula explícitamente la escritura de propuestas de investigación, el feedback (de pares e instructores), las revisiones y las puntuaciones humanas granulares.
2. Esquema de Evaluación Pedagógico: Se desarrollaron y validaron rúbricas detalladas basadas en literatura educativa y guías universitarias, enfocadas en habilidades transferibles y no solo en el contenido específico del tema.
3. Análisis de Comportamiento: Incluye registros de interacción (logs) que muestran cómo los estudiantes y profesores interactúan con la plataforma de revisión a lo largo del semestre.
4. Benchmarks con LLMs: Se establecieron líneas base utilizando Grandes Modelos de Lenguaje (LLMs) para dos tareas:
   • Puntuación automática de propuestas (exposé scoring).
   • Puntuación automática de reseñas de estudiantes (review scoring).

4. Resultados Experimentales

Los autores evaluaron varios modelos de LLM (tanto de código abierto como cerrados) utilizando estrategias de prompting (instrucción) comparando:

• Prompting Individual: Evaluar un criterio a la vez.
• Prompting Combinado: Evaluar todos los criterios en una sola llamada.

Hallazgos Principales:

• Desempeño de Modelos: Los modelos de código cerrado (GPT-5.2, Claude Opus, Gemini) superaron consistentemente a los modelos de pesos abiertos (Llama 3.3, Qwen, GPT-OSS) en términos de alineación con las puntuaciones humanas (medido por la divergencia Jensen-Shannon, JSD).
• Diferencias por Tarea: No existe un modelo único óptimo para ambas tareas. Por ejemplo, GPT-5.2 fue excelente para evaluar propuestas pero mediocre para evaluar reseñas, mientras que Llama 3.3 mostró el comportamiento inverso.
• Estrategia de Prompting: El prompting combinado (evaluar todos los criterios juntos) fue superior tanto en alineación con humanos como en eficiencia computacional. El enfoque individual aumentó significativamente la latencia y el costo de tokens sin mejorar la calidad.
• Limitaciones de los LLMs: Aunque los modelos pueden detectar errores generales, a menudo fallan en identificar la ausencia de elementos críticos específicos (como una pregunta de investigación clara) o discrepan con los humanos en criterios subjetivos. Los modelos de código abierto mostraron mayor inestabilidad en la puntuación de propuestas que en la de reseñas.

5. Significado e Impacto

• Investigación Educativa: Exposía permite estudiar cómo el feedback media el aprendizaje y la mejora de la escritura en la educación superior, algo imposible con datasets anteriores fragmentados.
• Herramientas de Soporte: El dataset habilita el desarrollo de sistemas para:
  • Generación automática de feedback detallado.
  • Predicción de revisiones basadas en el feedback recibido.
  • Evaluación escalable de la capacidad de los estudiantes para dar feedback (una habilidad crítica).
• Despliegue en el Aula: Los resultados sugieren que, para un despliegue práctico en entornos educativos (donde la privacidad es crucial), se necesitan modelos de código abierto más robustos y estrategias de prompting combinado para manejar picos de demanda (como antes de las fechas límite).
• Advertencia Ética: Los autores enfatizan que los LLMs deben usarse como herramientas de apoyo a la decisión (human-in-the-loop) y no para la calificación totalmente automatizada, ya que pueden pasar por alto matices sustanciales o incentivar el "juego" estratégico por parte de los estudiantes.

En conclusión, Exposía establece un nuevo estándar para la investigación en asistencia computacional a la escritura académica, proporcionando los datos y las métricas necesarios para avanzar hacia herramientas de IA que realmente comprendan y apoyen el proceso complejo de investigación y revisión por pares.