Students using GenAI lag behind in problem-solving competence: an agent-based study of classroom networks

Resumen Técnico: Los estudiantes que utilizan GenAI se quedan rezagados en la competencia de resolución de problemas

Planteamiento del problema
El desarrollo de la Competencia de Resolución de Problemas (PSC, por sus siglas en inglés) es fundamental para preparar ciudadanos resilientes; sin embargo, el impacto colectivo de la Inteligencia Artificial Generativa (GenAI) en este desarrollo dentro de los entornos de aula sigue siendo poco explorado. Mientras que la literatura existente cubre extensamente los resultados de aprendizaje individuales y las actitudes hacia la GenAI, existe una falta de comprensión sobre cómo la distribución de las estrategias de aprendizaje —específicamente la elección entre usar GenAI, colaborar con pares o trabajar de forma individual— moldea la evolución de la PSC a través de una comunidad de aprendizaje. Existe una brecha crítica en determinar si la GenAI actúa como un andamiaje para el aprendizaje co-constructivo o como un mecanismo de descarga cognitiva que obstaculiza el aprendizaje profundo, particularmente cuando se considera la interacción dinámica entre las elecciones individuales y las estructuras de redes de pares.

Metodología
Para abordar esto, los autores desarrollaron un Modelo Basado en Agentes (ABM) para simular la evolución de la PSC en un aula de física de secundaria durante 60 pasos de tiempo (que representan 60 ejercicios).

• Agentes y variables de estado: El modelo consiste en $N=30$ agentes estudiantiles. Cada agente $i$ se caracteriza por tres variables de estado:
  1. Competencia de Resolución de Problemas ($C_i^t$): La capacidad para resolver ejercicios de física, inicializada utilizando distribuciones empíricas de los datos de evaluación INVALSI de Italia ($N(\mu=195.9, \sigma=1.28)$).
  2. Dependencia de GenAI ($\alpha_i^t$): Un valor en $[0,1]$ que representa la dependencia de la IA, inicializada en 0.5.
  3. Dependencia de los Pares ($\tau_i^t$): Un valor en $[0,1]$ que representa la tendencia a buscar ayuda de los compañeros, inicializada en 0.5.
• Datos y calibración: El modelo utiliza un conjunto de datos de 60 ejercicios de física que cubren el currículo del Liceo Científico italiano. Cada ejercicio está anotado con tres componentes: conocimiento matemático, razonamiento físico y habilidades cognitivas de resolución de problemas (CPSS). Crucialmente, el modelo cuantifica la "brecha de puntuación" entre las soluciones humanas (sin IA) y las soluciones de GenAI (usando OpenAI's GPT-5.5). Los datos indican que, si bien la GenAI puede resolver ejercicios, produce menores ganancias en CPSS en comparación con la resolución de problemas humana.
• Dinámica y selección de estrategia: En cada paso de tiempo, los agentes eligen una estrategia basada en una función de probabilidad sigmoidea influenciada por la dificultad del ejercicio, la ganancia de competencia actual, la dependencia de la IA y la dependencia de los pares.
  • Uso de GenAI ($S_i=1$): Los agentes asumen que el ejercicio está resuelto, pero las actualizaciones de competencia están restringidas. Obtienen conocimiento matemático y físico potencial, pero experimentan una posible pérdida o ganancia cero en CPSS, lo que refleja una descarga cognitiva.
  • Sin GenAI ($S_i=0$): Los agentes trabajan de forma independiente o colaboran con un par de su red. La probabilidad de éxito se establece en 0.54 (basada en datos nacionales). El trabajo independiente exitoso genera ganancias completas de competencia. La colaboración con pares permite la transferencia de conocimiento: si un par es más competente, la competencia del agente se actualiza a un valor aleatorio entre el propio y el del par; si es menos competente, no ocurre un aprendizaje adicional.
• Estructuras de red: El estudio simula interacciones a través de cuatro topologías de red distintas para probar la robustez estructural:
  1. Redes aleatorias de Erdős–Rényi (ER).
  2. Redes de mundo pequeño de Watts–Strogatz (WS).
  3. Modelos de Bloques Estocásticos (SBM) que representan estructuras de comunidad.
  4. SBMs modificados que incorporan la homofilia basada en la competencia (donde las conexiones iniciales con pares se forman basadas en niveles de competencia similares).

Resultos Clave
Los resultados de la simulación, derivados de 1,000 ejecuciones independientes por condición, revelan impactos negativos significativos de la disponibilidad de GenAI en la dinámica colectiva de la competencia:

1. Reducción de la competencia promedio: En todas las topologías de red, las aulas con acceso a GenAI demostraron consistentemente una tasa de adquisición de habilidades más lenta y una PSC promedio final más baja en comparación con las aulas sin GenAI.
2. Estancamiento de la movilidad ascendente: En ausencia de GenAI, los estudiantes progresaban hacia niveles de competencia más altos, con la distribución concentrándose en las categorías "Alta" y "Muy Alta". Por el contrario, el acceso a GenAI causó un estancamiento donde una parte significativa de los estudiantes permaneció en los niveles "Medio", "Bajo" y "Muy Bajo".
3. Emergencia de la bimodalidad: La introducción de GenAI transformó la distribución de competencia final de un estado unimodal relativamente homogéneo a una distribución bimodal. El modelado de mezclas gaussianas mostró que el acceso a GenAI aumentó el tamaño de un grupo de baja competencia de aproximadamente un 1–4% (en escenarios sin IA) a un 8–12% de la población.
4. Estratificación por frecuencia de uso: El análisis de la frecuencia de uso reveló que los estudiantes con la mayor frecuencia de uso de GenAI (75–100% de los ejercicios) estaban desproporcionadamente concentrados en el pico emergente de baja competencia. Esto sugiere que la dependencia excesiva de la GenAI suprime activamente el dominio de las habilidades de resolución de problemas.
5. Interacción con la homofilia: En redes con homofilia basada en la competencia (SBM modificado), el acceso a GenAI pareció amplificar la estratificación, reduciendo la probabilidad de que los estudiantes se muevan más allá de sus vecindarios de competencia iniciales.

Significancia y Reivindicaciones
El artículo sostiene que el impacto educativo de la GenAI no puede evaluarse únicamente a través de los resultados de aprendizaje individuales o la finalización inmediata de tareas. En cambio, el estudio demuestra que la disponibilidad de la GenAI redefine fundamentalmente las dinámicas colectivas del desarrollo de la competencia dentro de las comunidades de aprendizaje.

Los autores argumentan que, si bien la GenAI puede facilitar la realización de tareas, su uso como un atajo puede conducir a una descarga cognitiva que disminuye el desarrollo de habilidades de resolución de problemas autónomas. Este efecto no es uniforme; crea una estratificación donde un subconjunto de estudiantes se queda rezagado, resultando en un aula polarizada donde una minoría significativa no logra alcanzar una competencia de alto nivel. El estudio concluye que los riesgos de la GenAI se extienden más allá de los déficits individuales de pensamiento crítico e incluyen la reorganización estructural de las distribuciones de competencia en el aula, dejando potencialmente a una mayor proporción de estudiantes en niveles de competencia más bajos de lo que ocurriría en entornos de aprendizaje tradicionales.