Counsellor review of artificial intelligence recommendations improves feasibility adjusted career fit and reduces socioeconomic disparity

Resumen Técnico: Revisión de un Consejero sobre las Recomendaciones de Inteligencia Artificial

Planteamiento del Problema
A medida que la inteligencia artificial (IA) media cada vez más las transiciones de la escuela al trabajo, se están implementando sistemas de recomendación para guiar las decisiones educativas y profesionales de los estudiantes. La evaluación actual de estos sistemas se basa fuertemente en la precisión predictiva y la aceptación del usuario. Sin embargo, este enfoque pasa por alto dimensiones críticas para un futuro del trabajo inclusivo: quién se beneficia en diversas posiciones socioeconómicas, si las recomendaciones son prácticamente factibles para el estudiante y cómo la orientación afecta la agencia del estudiante. El documento identifica tres "puntos ciegos" en la orientación profesional por IA actual:

1. Factibilidad: Las recomendaciones pueden alinearse con los intereses y la capacidad, pero pueden ser prácticamente inalcanzables debido a restricciones financieras, geográficas o sociales (factores de conversión) que los modelos suelen ignorar.
2. Distribución: Las mejoras promedio en la calidad de la recomendación pueden coexistir con una ampliación de las brechas socioeconómicas.
3. Agencia: Tratar la orientación como un problema de pura predicción abstrae el contexto social, lo que potencialmente deprime la autoeficacia del estudiante o induce una deferencia acrítica hacia los algoritmos.

La pregunta central de investigación es: Cuando la IA recomienda carreras a los estudiantes, ¿quién se beneficia en las distintas posiciones socioeconómicas, y cambia la respuesta el hecho de añadir explicaciones o supervisión humana?

Metodología
El estudio emplea un enfoque de dos vertientes que combina una simulación de políticas transparentes con un experimento de campo aleatorizado.

• Estudio 1: Simulación de Política Transparente

  • Diseño: Una simulación de 20,000 perfiles de estudiantes que varían en intereses, capacidad latente y estatus socioeconómico (SES).
  • Variables: El modelo incorpora "factores de conversión" (capacidad financiera, movilidad) que determinan si una trayectoria es factible.
  • Políticas Probadas: Se compararon cinco políticas de orientación a través de escenarios de mercado laboral de base, de auge tecnológico y de recesión:
    1. Orientación convencional (heurísticas de consejeros).
    2. IA optimizada para la precisión (maximiza el ajuste predicho, ignora la factibilidad).
    3. IA con restricción de paridad demográfica (iguala el acceso a carreras de alta oportunidad).
    4. IA consciente de las restricciones (optimiza el ajuste $\times$ la factibilidad).
    5. IA con humano en el bucle (un consejero revisa la lista de la IA).
  • Resultado: Ajuste de Factibilidad Ajustado (FAF, por sus siglas en inglés), definido como la alineación entre la recomendación y los atributos del estudiante, ajustada por la capacidad práctica.

• Estudio 2: Experimento Aleatorizado

  • Participantes: 987 estudiantes de secundaria y universidad en 14 instituciones de la India.
  • Diseño: Un experimento entre sujetos de cuatro brazos:
    1. Orientación solo por consejero.
    2. Orientación solo por IA (sin justificación).
    3. Orientación por IA explicable (justificación + declaración de incertidumbre).
    4. IA + Revisión de consejero (el consejero revisa el resultado de la IA y puede modificar/reemplazar las recomendaciones basándose en la factibilidad).
  • Medidas: El resultado primario fue el Ajuste Percibido de Factibilidad (FAF). Los resultados secundarios incluyeron claridad en la decisión, agencia, conciencia de la incertidumbre, deferencia algorítmica, confianza y percepción de equidad.
  • Análisis: Modelos lineales mixtos con interceptos aleatorios por institución y bootstrap de clúster salvaje para los efectos de interacción socioeconómica.

Resultos Clave

• Estudio 1 (Simulación):

  • Precisión vs. Beneficio: La IA optimizada para la precisión logró el mayor ajuste no ajustado, pero el menor FAF promedio (debido a que dirigió a muchos estudiantes del quintil inferior hacia trayectorias infactibles; tasa de infactibilidad del 51.2% para el quintil inferior).
  • Limitaciones de la Paridad: Las restricciones de paridad demográfica igualaron el acceso a recomendaciones de alta oportunidad, pero no mejoraron los resultados; la infactibilidad del quintil inferior aumentó de hecho al 53.6%.
  • Información de Factibilidad: La IA consciente de las restricciones y la revisión de Humano en el Bucle lograron el FAF más alto y las tasas de infactibilidad más bajas. Sin embargo, las políticas informadas por la factibilidad también "dirigieron" a los estudiantes con restricciones lejos de los sectores de alta oportunidad casi por completo (por ejemplo, solo 3.1% de acceso para el quintil inferior bajo la IA consciente de las restricciones), lo que sugiere un riesgo de "conservadurismo aspiracional" o circunscripción a nivel de sistema.

• Estudio 2 (Experimento):

  • FAF Percibido: La condición de IA + Revisión de Consejero produjo el FAF percibido más alto ($d = 0.52$ frente a IA sola) y la menor disparidad socioeconómica. Los estudiantes del quintil inferior en el brazo revisado reportaron el FAF percibido más alto de cualquier grupo del quintil inferior ($M = 4.77$ frente a $3.97$ bajo la condición de IA sola).
  • Agencia y Deferencia: La orientación solo por IA deprimió significativamente la agencia reportada y la conciencia de la incertidumbre, mientras elevó la deferencia algorítmica ($d = 1.20$ frente a solo consejero). La revisión del consejero restauró completamente la agencia reportada.
  • Explicación: La IA explicable mejoró la conciencia de la incertidumbre y redujo la deferencia en comparación con la IA sola, pero no igualó las ganancias de FAF de la condición de revisión.
  • Equidad: El gradiente socioeconómico en el FAF percibido fue más pronunciado bajo la orientación solo por IA y más plano bajo la IA + Revisión de Consejero. La supervisión humana no redistribuyó los beneficios de los estudiantes aventajados, sino que extendió los beneficios a los estudiantes desfavorecidos que el sistema sin revisión les negaba.

Contribuciones Clave

1. Redefinición de Métricas de Evaluación: El documento argumenta que la IA de orientación profesional debe evaluarse mediante el ajuste ajustado por la factibilidad, la equidad, la incertidumbre calibrada y la preservación de la agencia, en lugar de solo la precisión predictiva.
2. El Rol de los Factores de Conversión: Demuestra que el principal fallo de la orientación optimizada para la precisión es la omisión de los "factores de conversión" (recursos y restricciones) del espacio de características. El valor de la supervisión humana radica no en una habilidad estadística superior, sino en poseer y aplicar este conocimiento contextual.
3. El Intercambio "Factibilidad-Aspiración": El estudio identifica una tensión crítica: los diseños conscientes de la factibilidad reducen los consejos infactibles, pero corren el riesgo de institucionalizar expectativas conservadoras, potencialmente estrechando las aspiraciones de los estudiantes más limitados a menos que se acompañen de un apoyo para la expansión de capacidades.
4. Eficacia del Humano en el Bucle: Proporciona evidencia empírica de que la revisión del consejero de las recomendaciones de la IA mejora el ajuste percibido, reduce las disparidades socioeconómicas y restaura la agencia del estudiante, actuando como un mecanismo para redistribuir los beneficios de la IA.

Significancia y Reivindicaciones
El documento sostiene que la orientación profesional asistida por IA debe verse como una infraestructura para una transición justa de la escuela al trabajo. El autor argumenta que:

• La precisión es insuficiente: Los sistemas optimizados únicamente para el ajuste predictivo pueden desfavorecer sistemáticamente a los estudiantes con restricciones al recomendar trayectorias infactibles.
• La supervisión es redistributiva: La revisión humana no solo corrige errores; expande activamente la "libertad real" (en el sentido del Enfoque de Capacidades) de los estudiantes desfavorecidos al hacer que las trayectorias de alta oportunidad se sientan alcanzables y al prevenir el cierre prematuro de las aspiraciones.
• Implicaciones de Diseño: Para evitar el riesgo de "conservadurismo aspiracional", la orientación consciente de la factibilidad debe vincularse con respuestas de expansión de capacidades. El estudio sugiere que la revisión del consejero puede multiplicar la capacidad de asesoramiento escasa (al revisar listas de la IA en lugar de manejar la totalidad de los casos) al tiempo que preserva la rendición de cuentas y el conocimiento contextual necesarios para resultados equitativos.

El autor concluye que, aunque los hallazgos son específicos del contexto indio (un sitio de aguda escasez de consejeros y rápida adopción de IA), los mecanismos —recomendación ciega a la restricción, factibilidad graduada por SES y deferencia algorítmica— son generalizables a otras economías con transiciones escuela-trabajo estratificadas.