Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

Imagina el mundo de la Inteligencia Artificial (IA) como un enorme y bullicioso sitio de construcción. Cada día, equipos de ingenieros construyen máquinas increíbles: algunas que escriben poesía, otras que diagnostican enfermedades y otras que traducen idiomas instantáneamente. Pero, al igual que cualquier proyecto de construcción, existen reglas. No querrías que un constructor ignorara los códigos de seguridad, usara materiales inestables o construyera un puente que se desplome con el primer coche. En el mundo de la investigación de la IA, estos "códigos de seguridad" se llaman Prácticas de PLN Responsable. Son un conjunto de directrices que piden a los investigadores ser transparentes sobre cómo construyeron sus modelos, pensar en quién podría salir perjudicado por su trabajo y asegurarse de que sus datos se recopilaron de forma ética.

Para asegurar que todos sigan estas reglas, las grandes conferencias de IA (como la donde se presentó este artículo) introdujeron una Lista de Verificación (Checklist). Piensa en esta lista de verificación como un formulario de inspección final que un constructor debe completar antes de que un edificio sea aprobado. Hace preguntas como: "¿Comprobó si había riesgos de seguridad?", "¿Dio crédito a las personas que crearon sus herramientas?" y "¿Obtuvo permiso de las personas que estudió?". El objetivo era convertir estas ideas éticas grandes y aterradoras en simples casillas de "Sí" o "No" que los investigadores pudieran marcar, asegurando que su trabajo fuera seguro y honesto para todos.

Pero aquí surge la gran pregunta: ¿Están estos investigadores reflexionando profundamente sobre las respuestas, o simplemente se están apresurando a marcar las casillas para poder publicar sus artículos? Eso es exactamente lo que investiga este artículo. Los autores, un equipo de investigadores de la Universidad de Aberdeen, decidieron jugar a ser detectives. Reunieron las listas de verificación de más de 3,000 artículos presentados a la conferencia EMNLP 2025 y los analizaron como un equipo forense examinando la escena de un crimen. No se limitaron a mirar las marcas de "Sí" o "No"; miraron las pequeñas notas (justificaciones) que los autores escribieron para explicar sus elecciones. Querían ver si la lista de verificación estaba haciendo a los investigadores más responsables o si se había convertido en un aburrido y mecánico juego de "marcar casillas".

El Gran Robo de "Marcar la Casilla"

Los autores de este estudio trataron las listas de verificación de EMNLP 2025 como un gigantesco rompecabezas. Construyeron un proceso computarizado especial (un conjunto de herramientas automatizadas) para leer miles de artículos en PDF y sus correspondientes listas de verificación, vinculando las respuestas con las secciones específicas de los artículos donde los autores afirmaban haber realizado el trabajo. Analizaron un masivo total de 73,922 respuestas y justificaciones individuales. Lo que encontraron sugiere que, para muchos investigadores, la lista de verificación se ha convertido menos en una seria inspección de seguridad y más en un "ejercicio de marcar casillas": una tarea realizada solo para terminar con ella.

El Problema del "Pensamiento Posterior"
Uno de los hallazgos más impactantes es que los investigadores suelen tratar la ética como algo secundario, como recordar cerrar la puerta principal solo después de haber salido de casa. El estudio encontró que para la "Vía Principal" (Main Track) de la conferencia, los autores tendían a aislar las preguntas de ética del resto de su artículo. En lugar de entrelazar la seguridad y la ética en la historia de su investigación, las añadían al final. Es como si un chef escribiera una receta para un pastel delicioso pero solo mencionara la seguridad del horno en una diminuta nota al pie al final, en lugar de explicar cómo comprobó la temperatura mientras horneaba.

El Desastre de la Justificación del "No"
Cuando los investigadores respondían "No" a una pregunta (significando: "No, no hice esta cosa ética específica"), se suponía que debían explicar por qué. Esta es la parte más crítica de la lista de verificación, ya que te obliga a admitir lo que no hiciste. Sin embargo, los autores descubrieron que el 44.9% de estas justificaciones de "No" eran vacías (en blanco) o increíblemente breves (una o dos palabras como "No aplica").

Imagina a un conductor siendo detenido por un faro roto. Cuando el oficial de policía le pregunta: "¿Por qué no lo arregló?", el conductor simplemente se encoge de hombros y dice: "Lo que sea", o no dice nada en absoluto. Eso es lo que casi la mitad de los investigadores hicieron. No explicaron por qué omitieron el paso de seguridad; simplemente marcaron la casilla y siguieron adelante. Este es un problema importante porque, sin una buena explicación, nadie sabe si el riesgo era realmente bajo o si al investigador simplemente no le importaba.

El Punto Ciego de los "Riesgos"
Quizás el hallazgo más preocupante se refiere a la pregunta sobre los riesgos potenciales. Esta es la parte donde se pide a los investigadores que piensen: "¿Podría mi IA ser usada para dañar a personas? ¿Podría propagar sesgos?". El estudio encontró que el 53% de los autores descartaron estos riesgos por completo, afirmando que su trabajo "no tenía riesgos" o "no tenía impacto social".

Los autores argumentan que esto es como un fabricante de coches diciendo: "Nuestro nuevo coche no tiene riesgo de chocar", sin haber probado nunca los frenos. El artículo sugiere que, al simplemente marcar "Sin riesgos" sin una reflexión profunda y honesta, los investigadores están ignorando los peligros del mundo real de sus creaciones. El diseño de la lista de verificación no los obligó a pensar lo suficiente; les permitió librarse de la responsabilidad demasiado fácilmente.

El Vacío Lógico
El estudio también encontró que las listas de verificación estaban llenas de contradicciones lógicas. La lista de verificación está estructurada como un árbol: si respondes "No" a una pregunta grande (la madre), todas las preguntas más pequeñas debajo de ella (las hijas) también deberían ser "No" o "No aplica". Pero los autores encontraron que el 6% de todas las listas de verificación tenían errores lógicos.

Por ejemplo, un investigador podría responder "No" a la pregunta "¿Utilizó algún dato?", pero luego responder "Sí" a la pregunta hija "¿Describió los datos que utilizó?". Es como decir: "No horneé un pastel", y acto seguido decir: "Sí, usé chispas de chocolate". Estas contradicciones sugieren que muchos autores completaron el formulario de manera descuidada, sin darse cuenta de que sus respuestas no tenían sentido. Esta confusión hace que sea difícil para los revisores confiar en la lista de verificación.

Vía Principal vs. Vía de Hallazgos
Los investigadores compararon la "Vía Principal" (artículos más prestigiosos) con la "Vía de Hallazgos" (artículos con contribuciones sólidas pero más estrechas). Esperaban que la Vía Principal fuera más cuidadosa. Si bien la Vía Principal tuvo un cumplimiento ligeramente mejor, los malos hábitos estaban presentes en ambas. Incluso en los artículos de alto nivel, los investigadores omitían las reflexiones éticas y escribían justificaciones vacías. Esto sugiere que el problema no es solo la calidad de los artículos, sino cómo se está utilizando (o mal utilizando) la lista de verificación por parte de todos.

El Veredicto: ¿Un Formulario de Inspección Roto?

El artículo concluye que el diseño actual de la lista de verificación no está cumpliendo su función. No está logrando forzar a los investigadores a pensar en la ética y los riesgos de su trabajo. En cambio, se ha convertido en un obstáculo burocrático que la gente recorre rápidamente. Los autores señalan que la lista de verificación fomenta el "cumplimiento superficial", donde los investigadores parecen estar siguiendo las reglas sin realizar realmente el trabajo duro de la reflexión.

El estudio sugiere que la lista de verificación necesita una renovación seria. Recomiendan:

1. Imponer un recuento mínimo de palabras: Si dices "No", debes escribir una explicación real, no solo un encogimiento de hombros.
2. Mejor diseño: El formulario debería evitar contradicciones lógicas (como el problema de "Sin pastel, pero sí chocolate") ocultando automáticamente las preguntas que no aplican.
3. Más escrutinio: Los revisores deben observar mucho más de cerca las respuestas de "Sin riesgos", porque afirmar que una nueva tecnología tiene cero riesgos es a menudo una señal de alerta.

En resumen, el artículo argumenta que no podemos confiar en una simple lista de verificación para que la IA sea segura. Si las personas que construyen el futuro de la tecnología solo están marcando casillas sin pensar, la "inspección de seguridad" es falsa. Los autores esperan que, al exponer estas fallas, la comunidad pueda construir un mejor sistema, uno que realmente haga que los investigadores se detengan y pregunten: "¿Es esto seguro?", antes de publicar.