What Makes Written Feedback Effective? A Lagged Analysis of Feedback Functions and Score Improvement in L2 Writing

Resumen Técnico: ¿Qué hace que la retroalimentación escrita sea efectiva? Un análisis rezagado de las funciones de retroalimentación y la mejora de la puntuación en la escritura L2

Planteamiento del problema
Si bien la retroalimentación escrita es una piedra angular en la instrucción de la escritura en una segunda lengua (L2), la evidencia empírica sobre qué características específicas de la retroalimentación impulsan la calidad de la revisión sigue siendo mixta. Las investigaciones previas se han basado mayoritariamente en diseños transversales que correlacionan las características de la retroalimentación con las puntuaciones de un mismo borrador, lo que dificulta distinguir si la retroalimentación promueve la mejora o si simplemente refleja las respuestas del docente ante textos más débiles. Además, los estudios existentes suelen conceptualizar la retroalimentación principalmente por su enfoque temático (por ejemplo, gramática frente a vocabulario) o la tratan como una intervención uniforme, pasando por alto la dinámica temporal de la retroalimentación y las propiedades estructurales de cómo la retroalimentación se encuadra y se empaqueta. Este estudio aborda la brecha en la comprensión de la relación temporal entre las características de la retroalimentación en un borrador ($V_t$) y la mejora de la puntuación en el siguiente borrador ($V_{t+1}$).

Metodología
El estudio emplea un diseño analítico rezagado utilizando un corpus de 2,030 ensayos de inglés L2 que contienen múltiples revisiones. El conjunto de datos se construyó en 1,421 pares de revisión adyacentes ($V_t$ y $V_{t+1}$), donde la mejora se define como el cambio de puntuación ($\Delta score$) entre los dos borradores.

• Extracción de características: La retroalimentación se operacionalizó mediante un marco impulsado por léxico organizado como un grafo de conocimiento ligero. Este enfoque extrajo características del texto bruto de la retroalimentación de $V_t$ en dos dimensiones primarias:
  1. Función de la retroalimentación: Categorizada en Diagnóstica (identificar/explicar problemas), Prescriptiva (proporcionar directivas explícitas), Sugestiva (ofrecer recomendaciones opcionales) y Evaluativa/Alentadora.
  2. Empaquetado de la retroalimentación: Medido por la longitud de la retroalimentación (caracteres totales) y la fragmentación (número de elementos de retroalimentación discretos).
  3. Enfoque temático: Categorizado en Léxico, Gramática, Mecánica, Fluidez y Estructura.
• Análisis estadístico: El análisis principal utilizó regresión de Mínimos Cuadrados Ordinarios (OLS) estandarizada y rezagada. Las características de retroalimentación estandarizadas de $V_t$ se utilizaron para predecir $\Delta score$ en $V_{t+1}$, controlando otras dimensiones de retroalimentación. Para abordar posibles no linealidades, específicamente respecto a la densidad de sugerencias, el autor realizó un análisis por contenedores (deciles) para visualizar los cambios medios de puntuación a través de niveles variables de participación de sugerencias.

Resultados clave
El modelo de regresión rezagada explicó aproximadamente el 15.5% de la varianza en la mejora de la puntuación ($R^2 \approx 0.155$). Los resultados destacan que la función y el empaquetado de la retroalimentación son predictores de mejora más fuertes que el enfoque temático:

• Función de la retroalimentación:
  • Retroalimentación Prescriptiva y Diagnóstica: Ambas mostraron asociaciones positivas fuertes con las ganancias de puntuación subsecuentes. La retroalimentación prescriptiva ($\beta_{std} \approx +2.09$) y la diagnóstica ($\beta_{std} \approx +1.48$) fueron los predictores positivos más significativos.
  • Retroalimentación Sugestiva: Una alta proporción de retroalimentación dominada por sugerencias se asoció negativamente con la mejora ($\beta_{std} \approx -2.61$). Sin embargo, un análisis posterior por contenedores reveló una relación no lineal: la mejora alcanzó su punto máximo en niveles moderados de densidad de sugerencias (aprox. 0.4–0.5) y declinó cuando las sugerencias se convirtieron en el modo dominante de retroalimentación.
• Empaquetado de la retroalimentación:
  • Elaboración vs. Fragmentación: La retroalimentación más larga y elaborada se asoció positivamente con la mejora ($\beta_{std} \approx +1.29$), mientras que un mayor número de elementos de retroalimentación discretos (fragmentación) se asoció negativamente ($\beta_{std} \approx -1.13$).
• Enfoque temático: Una vez que se contabilizaron el encuadre funcional y el empaquetado, las categorías temáticas (por ejemplo, la participación de Gramática, la participación de Léxico) contribuyeron poco al poder predictivo único en los cambios de puntuación holísticos.

Contribuciones clave
El artículo realiza tres contribuciones primarias al campo de la investigación en escritura L2:

1. Metodológica: Demuestra el valor de un diseño de pares de revisión rezagado para desenredar la retroalimentación que simplemente coexiste con borradores de baja calidad de aquellas características que están asociadas con ganancias subsecuentes. El estudio introduce un enfoque transparente, impulsado por léxico y grafos de conocimiento para cuantificar las características de la retroalimentación, ofreciendo una plantilla escalable para futuros trabajos observacionales.
2. Conceptual: Operacionaliza la "función de la retroalimentación" y el "empaquetado de la retroalimentación" como dimensiones medibles, proporcionando evidencia de que cómo se encuadra la retroalimentación (directiva vs. sugestiva) y cómo se entrega (coherente vs. fragmentada) posee más poder explicativo que qué dominio lingüístico aborda.
3. Sustantiva: Desafía la visión binaria de la retroalimentación basada en sugerencias al identificar una relación no lineal. Los hallazgos sugieren que las sugerencias no son uniformemente perjudiciales, sino que son más efectivas en densidades moderadas, apoyando una visión de "calibración" donde las sugerencias complementan, en lugar de reemplazar, la guía diagnóstica y prescriptiva clara.

Significado y afirmaciones
El estudio concluye que la retroalimentación escrita efectiva se define menos por el dominio lingüístico que aborda y más por su encuadre y organización. El autor afirma que los hallazgos apoyan un cambio en el enfoque pedagógico de "qué tipo de retroalimentación es mejor" a "qué equilibrio es óptimo". Específicamente, los resultados sugieren que los estudiantes se benefician más de una retroalimentación que reduce la incertidumbre interpretativa mediante un diagnóstico explícito y una guía directiva, entregada en un formato coherente y elaborado en lugar de como una lista fragmentada de microcorrecciones.

El documento señala modestamente que, si bien el orden temporal fortalece la inferencia causal, las asociaciones siguen siendo correlacionales, y variables no observadas (como la competencia o el compromiso del estudiante) pueden influir en los resultados. Sin embargo, la consistencia de los efectos a través de los predictores indica que el encuadre y el empaquetado son dimensiones sistemáticas de la retroalimentación que merecen atención explícita tanto en la investigación como en la pedagogía. El estudio ofrece un marco para diseñar una retroalimentación que sea accionable y manejable para los estudiantes, alineándose con los principios de la alfabetización de la retroalimentación.