When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
Este artículo introduce una auditoría de validez de recompensa-acción para demostrar que un cuaderno de Deep Q-Network que afirma aprender morfología inglesa en realidad falla en la adquisición de reglas gramaticales debido a fallos fundamentales en su función de recompensa, expresividad de acción, codificación de estado y metodología de evaluación.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el bullicioso mundo de la inteligencia artificial, los investigadores a menudo intentan enseñar a las máquinas las reglas ocultas del lenguaje humano. Utilizan un método llamado aprendizaje por refuerzo, que funciona de forma muy parecida al entrenamiento de un perro: la computadora intenta una acción y, si obtiene el resultado correcto, recibe un premio digital, o recompensa. Con el tiempo, la computadora aprende a repetir las acciones que le reportan más premios. Este enfoque se ha convertido en una forma popular de probar si una máquina puede comprender verdaderamente la gramática sin necesidad de una base de datos masiva de texto humano. La esperanza es que, simplemente recompensando las respuestas correctas, una IA pueda descubrir la lógica detrás de cómo cambiamos las palabras, como convertir un sustantivo singular en uno plural o cambiar un verbo al tiempo pasado. Si tiene éxito, demostraría que las máquinas pueden aprender estructuras lingüísticas a través de la experiencia en lugar de solo mediante la memorización.
Sin embargo, un nuevo estudio de la Universidad de Coventry sugiere que, en algunos experimentos recientes, los premios digitales se estaban entregando con demasiada facilidad. Los investigadores, Nikesh Adhikari, Shankar Ghimire y Sagar Neupane, decidieron observar de cerca un programa informático específico que afirmaba haber aprendido la gramática inglesa. No se limitaron a observar cómo aprendía el programa; auditaron todo el juego que estaba jugando. Revisaron las reglas, el sistema de puntuación y la forma misma en que la computadora veía el mundo. Su investigación reveló que el programa no estaba aprendiendo gramática en absoluto. En su lugar, estaba explotando fallos en la propia prueba para obtener puntuaciones altas mientras producía respuestas que a menudo eran erróneas, o incluso imposibles de generar con las herramientas proporcionadas.
El estudio se centró en un cuaderno de computación (notebook) que afirmaba enseñar a un agente artificial tres habilidades específicas del inglés: convertir sustantivos al plural, cambiar verbos al tiempo pasado y concordar sujetos con verbos. El cuaderno reportaba tasas de éxito impresionantes, alegando que el agente lograba puntuaciones perfectas en la formación del tiempo pasado y una alta precisión en las otras tareas. Los investigadores comenzaron haciendo una pregunta sencilla: ¿la computadora producía realmente las palabras correctas en inglés, o simplemente producía palabras que el sistema de puntuación aceptaba por error? Descubrieron que el sistema de puntuación era demasiado permisivo. Para la tarea de hacer palabras plurales, el sistema otorgaba una recompensa positiva para 10 intentos diferentes, pero solo cuatro de esos intentos eran palabras reales en inglés. Las otras seis eran palabras sin sentido y mal formadas que resultaban lo suficientemente similares a la respuesta correcta como para engañar al sencillo verificador. En la tarea del tiempo pasado, la situación era aún peor. El sistema reportaba una tasa de éxito perfecta del 100 por ciento, pero cuando los investigadores contaron las palabras correctas reales, descubrieron que solo el 25 por ciento de los intentos recompensados eran verdaderamente correctos. La computadora estaba siendo recompensada por errores.
El problema iba más allá de un simple anotador de puntos permisivo. Los investigadores descubrieron que la computadora era físicamente incapaz de producir las respuestas correctas para muchas de las palabras en las que fue probada. El programa fue diseñado con un conjunto de herramientas muy limitado, permitiéndole únicamente añadir letras al final de una palabra. No podía borrar letras ni cambiar el medio de una palabra. Esto significaba que, para ciertas palabras, como convertir "city" en "cities" o "baby" en "babies", la respuesta correcta requería eliminar la "y" y añadir "ies". Dado que la computadora no podía borrar la "y", era imposible que generara la palabra correcta, sin importar cuán inteligente se volviera. Los investigadores calcularon que, para un tercio de las palabras plurales y la mitad de los verbos en pasado, la respuesta correcta estaba simplemente fuera de su alcance. Las altas puntuaciones reportadas por el cuaderno no eran, por tanto, una señal de aprendizaje, sino una señal de que la prueba estaba rota.
Además, el estudio encontró que la computadora ni siquiera estaba jugando un juego que le requiriera pensar en una secuencia. Los investigadores rastrearon los pasos del programa y encontraron que a la computadora se le mostraba la misma palabra una y otra vez durante treinta pasos sin ningún cambio. No necesitaba recordar nada de un paso al siguiente para resolver el problema. Esto convirtió lo que se suponía era una tarea de aprendizaje compleja en un simple intento repetido. Los gráficos visuales en el cuaderno original, que mostraban a la computadora aprendiendo diferentes reglas a lo largo del tiempo y transfiriendo conocimiento de una a otra, también resultaron ser engañosos. Las curvas de "aprendizaje" eran en realidad números aleatorios generados por la computadora, no mediciones reales de progreso. Las visualizaciones eran decorativas, no evidencia de inteligencia.
Los investigadores también descubrieron una inestabilidad oculta en cómo la computadora veía las palabras. El programa utilizaba un método para convertir palabras en números que cambiaba cada vez que la computadora se reiniciaba. Esto significaba que la misma palabra podía parecer un número completamente diferente en días distintos. En muchos casos, dos palabras diferentes terminaban pareciéndose ante la computadora, lo que causaba que las confundiera. Debido a que la computadora no podía distinguir entre estas palabras confundidas, no podía aprender la regla correcta para ninguna de ellas. Esta inestabilidad significaba que los resultados no eran fiables; la computadora podía parecer que aprendía un día y fallar al siguiente, simplemente porque los números que estaba utilizando habían cambiado.
En última instancia, el estudio concluye que el cuaderno original no demostró que la computadora hubiera aprendido la gramática inglesa. Solo demostró que la computadora podía encontrar una manera de obtener una puntuación alta en una prueba defectuosa. Los investigadores enfatizan que esto no significa que el aprendizaje por refuerzo no pueda funcionar para el lenguaje. Simplemente significa que este experimento específico no fue configurado correctamente para probarlo. El sistema de recompensa era demasiado vago, las herramientas eran demasiado limitadas y el entorno de prueba era inestable. Para saber realmente si una máquina ha aprendido una regla, la prueba debe ser precisa, las respuestas correctas deben ser posibles de generar y la puntuación debe exigir la palabra exacta, no solo una aproximación cercana. Hasta que se cumplan estas condiciones, las puntuaciones altas en tales pruebas deben verse con escepticismo, ya que pueden reflejar los fallos del experimento en lugar de la inteligencia de la máquina.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.