Human–AI collaboration in deductive coding of classroom dialogue: prompt engineering and collaboration patterns

Resumen Técnico: Colaboración Humano-IA en la Codificación Deductiva de Diálogos en el Aula

Planteamiento del Problema
El diálogo en el aula es un mecanismo crítico para la co-construcción del conocimiento y el desarrollo cognitivo, pero su análisis sistemático mediante la codificación deductiva sigue siendo un cuello de botella. La codificación manual utilizando marcos establecidos como el Esquema de Análisis de Diálogo de Cambridge (CDAS) es cognitivamente exigente, requiere mucho tiempo y es difícil de escalar. Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) ofrecen potencial para automatizar el análisis cualitativo, los enfoques supervisados convencionales requieren grandes conjuntos de datos anotados que a menudo no están disponibles en la investigación educativa especializada. Además, existe una falta de comprensión empírica sobre cómo implementar sistemas conversacionales ligeros y configurados para la codificación deductiva y cómo se desarrolla el proceso de colaboración humano-IA en este contexto específico.

Metodología
El estudio empleó un enfoque de Investigación de Diseño Basado en el Diseño (DBR) combinado con un diseño cuasi-experimental intrasujeto para abordar tres preguntas de investigación: (1) cómo optimizar un Asistente de Codificación GPT Personalizado (CGCA, por sus siglas en inglés) para la codificación deductiva con datos limitados; (2) cómo el secuenciamiento del flujo de trabajo (Primero el Humano vs. Primero la IA) afecta la colaboración; y (3) qué factores a nivel de usuario influyen en los patrones de colaboración.

• Desarrollo del Sistema (RQ1): Los investigadores desarrollaron iterativamente un CGCA basado en el marco CDAS. Los intentos iniciales de utilizar una transferencia directa del libro de códigos humano no lograron alcanzar un rendimiento fiable. Las iteraciones posteriores se centraron en estrategias de ingeniería de prompts, incluyendo:

  • Arquitectura de Instrucciones: Pasar de listas de reglas simples a lógica de árboles de decisión, estructuras if–else y segmentación modular para reducir la carga cognitiva y alinearse con las limitaciones de procesamiento de los LLM.
  • Selección de Ejemplares: Curaduría de un pequeño conjunto de ejemplos de alta calidad y diversos (5–15 por categoría, incluyendo casos centrales, ambiguos y extremos) en lugar de depender de grandes volúmenes de datos no diferenciados.
  • Bucles de Retroalimentación: Incorporación de pasos de verificación interactivos para fomentar la clasificación basada en reglas en lugar del emparejamiento de patrones superficiales.
  • Evaluación: El CGCA final fue probado contra 1,386 turnos de diálogo auténticos, codificados por humanos, de lecciones de primaria, evaluados mediante precisión, exhaustividad (recall), exactitud y puntuación F1.

• Estudio de Colaboración (RQ2 y RQ3): Seis investigadores educativos (con variaciones en competencia de codificación y experiencia en IA) participaron en dos condiciones de flujo de trabajo:

  • Condición A (Primero el Humano): Los codificadores asignaron etiquetas de forma independiente antes de consultar al CGCA.
  • Condición B (Primero la IA): Los codificadores revisaron los resultados del CGCA antes de finalizar sus propias etiquetas.
  • Recolección de Datos: Los datos incluyeron registros de codificación, registros completos de chat de GPT, protocolos de pensamiento en voz alta (think-aloud) y entrevistas post-tarea (incluyendo el recuerdo estimulado).
  • Análisis: El análisis cuantitativo midió la fiabilidad inter-codificador (Kappa de Cohen) frente a una codificación de referencia. El análisis cualitativo utilizó un enfoque temático inductivo para identificar los factores que dan forma a la colaboración, caracterizados en una escala ordinal (débil–moderada–fuerte) basada en la evidencia del discurso.

Resultos Clave

• Rendimiento del Sistema (RQ1): El CGCA base inicial mostró una precisión baja (6.7%–38.2%). A través de la refinación iterativa de la estructura del prompt y la curaduría de ejemplares, el sistema final alcanzó una precisión de nivel de turno del 64.9%, acercándose al acuerdo inter-codificador del 70–75% típico de los expertos humanos. El estudio encontró que la claridad estructural (árboles de decisión, razonamiento paso a paso) y los ejemplos ricos en contexto y de alta calidad eran más críticos que el volumen total de ejemplos.
• Impacto del Flujo de Trabajo (RQ2): La condición de Primero la IA (Condición B) produjo valores de Kappa de Cohen promedio ligeramente más altos (M ≈ 0.45) en comparación con la condición de Primero el Humano (M ≈ 0.40), aunque la diferencia no fue estadísticamente significativa debido al pequeño tamaño de la muestra. La Condición B se asoció con una reducción en el tiempo de codificación por turno. El análisis cualitativo reveló que la Condcción B a menudo desencadenaba efectos de anclaje, donde los resultados iniciales de la IA influían en el juicio humano posterior, mientras que la Condición A implicaba un razonamiento propio y una negociación basada en reglas más extensos.
• Factores de Usuario y Patrones de Colaboración (RQ3): El estudio identificó dos orientaciones distintas en la forma en que los investigadores interactuaron con el CGCA:
  1. Orientación Dialógica: Los participantes trataron a la IA como un "amigo crítico" o interlocutor colaborativo. Utilizaron los resultados de la IA para externalizar el razonamiento y recalibrar sus decisiones. Este grupo, que incluía a codificadores novatos, demostró las mayores mejoras en la codificación y ganancias de aprendizaje.
  2. Orientación de Supervisión: Los participantes vieron a la IA como un objeto de escrutinio, manteniendo una distancia epistémica y centrándose en verificar la fiabilidad del modelo en lugar de entablar un diálogo. Este grupo mostró un razonamiento menos iterativo y menores ganancias de rendimiento.
  • Cambio Dinámico: La posicionalidad no fue estática; por ejemplo, un participante novato pasó de una postura deferente a una más crítica y negociadora a medida que su confianza crecía a través de la interacción.

Contribuciones Clave

1. Ingeniería de Prompts para la Codificación Deductiva: El estudio demuestra que la codificación deductiva asistida por IA efectiva requiere adaptar los procedimientos de codificación humana para ajustarse a las limitaciones de los LLM. Específicamente, descomponer juicios complejos en lógica de árboles de decisión y utilizar ejemplares curados y diversos produce mejores resultados que simplemente introducir libros de códigos extensos o ejemplos abundantes.
2. Marco Socio-Técnico: El artículo propone un marco preliminar que conceptualiza la colaboración humano-IA en la codificación cualitativa como un proceso dinámico y recíproco. Postula que los resultados están determinados conjuntamente por el diseño del sistema CGCA (arquitectura del prompt), las condiciones contextuales (secuenciamiento del flujo de trabajo) y las características del codificador humano (posicionalidad, confianza, conocimiento previo).
3. Papel de la Posicionalidad: Los hallazgos desafían la noción de que la autoridad humana debe ser estrictamente supervisora. En su lugar, una postura "dialógica" —donde el humano retiene el control evaluativo final pero trata a la IA como un socio de razonamiento— parece generar mejores resultados de codificación y de aprendizaje, particularmente para codificadores con menos experiencia.

Significancia y Reivindicaciones
Los autores sostienen que la codificación de diálogos apoyada por IA debe entenderse no meramente como una tarea de automatización técnica, sino como un proceso socio-técnico dinámico. El estudio sugiere que:

• Implicaciones de Diseño: Construir herramientas de IA efectivas requiere más que traducir reglas humanas; demanda arquitecturas de prompts que se alineen con la teoría de la carga cognitiva y los límites de procesamiento de los LLM.
• Dinámicas Colaborativas: La efectividad de la colaboración humano-IA está fuertemente influenciada por la posicionalidad del codificador (cómo ven su relación con la IA). Tratar a la IA como un socio colaborativo en lugar de una herramienta subordinada puede conducir a resultados analíticos más sólidos y ganancias de aprendizaje.
• Equidad en la Codificación: El CGCA puede funcionar como un "mecanismo de nivelación", reduciendo la brecha de rendimiento entre codificadores novatos y experimentados cuando el novato adopta una orientación dialógica.

Los autores mantienen la modestia en sus afirmaciones, reconociendo la escala pequeña del estudio (n=6), el contexto específico de las aulas de primaria del Reino Unido y la falta de evidencia a largo plazo sobre el desarrollo independiente de habilidades. Enfatizan que las estrategias de implementación uniformes no serán efectivas por definición y que se necesita más investigación para validar estos hallazgos en muestras más grandes y diferentes marcos de codificación.