Revisiting validation in language testing: an updated critical review of argument-based approaches in the era of justice-oriented and AI-mediated assessment
Este artículo actualiza una revisión crítica de 2019 sobre la validación basada en argumentos en la evaluación de lenguas al examinar los avances hasta 2026, destacando la expansión del campo hacia contextos diversos y disciplinas adyacentes mientras aborda los desafíos emergentes planteados por las críticas orientadas a la justicia y la calificación mediada por IA, argumentando finalmente a favor de la integración de la equidad y la transparencia algorítmica como garantías fundamentales dentro de los argumentos de validez.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cada día, millones de personas realizan exámenes estandarizados para demostrar que pueden hablar un idioma lo suficientemente bien como para obtener un empleo, ingresar a una universidad o mudarse a un nuevo país. Estos puntajes actúan como porteros, decidiendo quién obtiene una oportunidad y quién no. Durante décadas, los expertos han planteado una única y vital pregunta: ¿cómo sabemos que estos exámenes realmente miden lo que pretenden medir? La respuesta ha evolucionado desde simples listas de verificación hacia un método más complejo llamado el "enfoque basado en argumentos". Imagine a un abogado construyendo un caso para un jurado; en lugar de solo enumerar hechos, debe construir una cadena lógica de razonamiento que conecte el desempeño de un estudiante en un examen con una decisión del mundo real, como la concesión de una visa. Cada eslabón de esta cadena —cómo se califica el examen, cómo ese puntaje representa la verdadera capacidad del estudiante y cómo esa capacidad predice el éxito futuro— debe estar respaldado por evidencia. Si un eslabón es débil, todo el caso se desmorona.
Recientemente, el panorama de las pruebas de idiomas ha cambiado drásticamente. Dos fuerzas poderosas están remodelando la forma en que estos exámenes se construyen y se juzgan. Primero, existe una creciente demanda de equidad, con investigadores que argumentan que los exámenes deben trabajar activamente contra las desigualdades raciales y sociales, no solo evitar errores obvios. Segundo, la inteligencia artificial está calificando ahora muchos de estos exámenes, reemplazando a los lectores humanos por algoritmos informáticos que pueden procesar el lenguaje a velocidades increíbles. Una nueva revisión del campo, publicada en 2026 por la investigadora Thi Tuyet Hanh Nguyen, examina cómo el "caso del abogado" para la validez de un examen resiste frente a estos nuevos desafíos. Al observar estudios publicados entre 2019 y 2026, Nguyen rastrea cómo el campo intenta equilibrar la prueba rigurosa con la necesidad urgente de justicia y la naturaleza misteriosa de la calificación por computadora.
La revisión comienza analizando cómo los investigadores han estado aplicando el enfoque basado en argumentos en años recientes. Nguyen encontró que, si bien el método se ha extendido a nuevos tipos de exámenes, desde exámenes de inmigración hasta evaluaciones para niños pequeños, la evidencia que respalda estos exámenes sigue siendo desigual. La mayoría de los estudios se centran intensamente en los primeros eslabones de la cadena: demostrar que el examen se califica de manera consistente y que los puntajes son fiables. Sin embargo, los eslabones posteriores, más difíciles, suelen ser ignorados. Los investigadores rara vez reúnen evidencia sólida para mostrar que un puntaje de un examen realmente predice qué tan bien se desempeñará una persona en un trabajo del mundo real o que las decisiones tomadas basadas en esos puntajes son verdaderamente justas. Este patrón ha persistido durante años; incluso a medida que el campo ha crecido, el "caso" de un examen a menudo se queda corto al probar su valor último en el mundo real.
Una parte significativa de la revisión aborda un nuevo movimiento teórico conocido como validez orientada a la justicia. Este enfoque desafía la idea de que un examen puede considerarse válido simplemente porque es técnicamente preciso. En su lugar, pregunta qué valores se están utilizando para definir qué es "correcto". Si un examen es construido por un grupo específico de personas, podría favorecer involuntariamente su trasfondo cultural mientras penaliza a otros, incluso si la calificación es matemáticamente perfecta. Nguyen destaca un debate dentro del campo: algunos investigadores temen que centrarse demasiado en la justicia social pueda debilitar el rigor científico de las pruebas, mientras que otros argumentan que, sin abordar estas desigualdades profundamente arraigadas, los exámenes son fundamentalmente defectuosos. La revisión sugiere que la equidad no debe ser una ocurrencia tardía o un control separado; debe estar tejida en el núcleo mismo del argumento de por qué un examen es válido.
El segundo gran desarrollo es el auge de la inteligencia artificial en la calificación. Los modelos de lenguaje extensos, la misma tecnología detrás de los chatbots avanzados, están calificando ahora ensayos y exámenes de expresión oral. Esto crea un problema único para la validación. Cuando un profesor humano califica un ensayo, puede explicar por qué otorgó cierto puntaje. Cuando lo hace una IA, el proceso es a menudo una "caja negra", donde el razonamiento está oculto dentro de un complejo código informático. Nguyen señala que los marcos de evaluación actuales no fueron diseñados para manejar esta opacidad. Los estudios muestran que, si bien la IA a veces puede coincidir con los calificadores humanos, a menudo no lo hace de manera consistente a través de diferentes idiomas o para estudiantes de diferentes entornos. La revisión advierte que confiar en la IA sin exigir transparencia y pruebas de equidad podría introducir nuevos sesgos invisibles en el sistema.
El artículo concluye proponiendo siete consideraciones clave para el futuro de las pruebas de idiomas. Las primeras cinco, identificadas en una revisión anterior, siguen siendo relevantes: los investigadores deben analizar las tareas del mundo real que el examen imita, involucrar a una amplia gama de personas en el proceso y utilizar métodos mixtos para reunir evidencia. Sin embargo, Nguyen argumenta que dos nuevas consideraciones son ahora esenciales. Primero, la equidad y la justicia deben tratarse como partes explícitas del argumento de validez, no como extras opcionales. Esto significa que las pruebas deben demostrar que los puntajes son justos para cada subgrupo de personas, no solo en promedio. Segundo, cuando se utiliza la IA para calificar exámenes, la evidencia debe incluir la prueba de que el algoritmo es transparente y está libre de sesgos. La revisión sugiere que los desarrolladores de exámenes deben integrar estos controles éticos en el diseño del examen desde el principio, en lugar de intentar solucionar los problemas después de que el examen ya está en uso.
En última instancia, el artículo no pide abandonar el enfoque basado en argumentos. En su lugar, argumenta a favor de expandir la definición de lo que cuenta como evidencia sólida. El "caso del abogado" para un examen debe incluir ahora la prueba de que el sistema es justo y que la máquina que lo califica es confiable. A medida que el campo avanza, el objetivo es hacer que estas consideraciones sean tan rutinarias y esperadas como verificar la consistencia en la calificación. Al hacerlo, la comunidad de evaluación de idiomas espera asegurar que los portones que estos exámenes abren sean justos para todos, independientemente de su origen o de la tecnología utilizada para medirlos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.