Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

Imagine o mundo da Inteligência Artificial (IA) como um canteiro de obras enorme e movimentado. Todos os dias, equipes de engenheiros constroem máquinas incríveis — algumas que escrevem poesia, outras que diagnosticam doenças e algumas que traduzem idiomas instantaneamente. Mas, assim como qualquer projeto de construção, existem regras. Você não gostaria que um construtor ignorasse os códigos de segurança, usasse materiais instáveis ou construísse uma ponte que desaba no primeiro carro. No mundo da pesquisa de IA, esses "códigos de segurança" são chamados de Práticas de PLN Responsáveis. Eles são um conjunto de diretrizes que pedem aos pesquisadores para serem transparentes sobre como construíram seus modelos, para pensarem em quem pode ser prejudicado pelo seu trabalho e para garantirem que seus dados foram coletados de forma ética.

Para garantir que todos sigam essas regras, as grandes conferências de IA (como aquela onde este artigo foi apresentado) introduziram um Checklist. Pense neste checklist como um formulário de inspeção final que um construtor deve preencher antes de um edifício ser aprovado. Ele faz perguntas como: "Você verificou riscos de segurança?" "Você deu crédito às pessoas que criaram suas ferramentas?" e "Você obteve permissão das pessoas que estudou?". O objetivo era transformar essas ideias éticas grandes e assustadoras em simples caixas de "Sim" ou "Não" que os pesquisadores pudessem marcar, garantindo que seu trabalho fosse seguro e honesto para todos.

Mas aqui está a grande questão: esses pesquisadores estão realmente pensando profundamente sobre as respostas ou estão apenas correndo para marcar as caixas para que seus artigos sejam publicados? É exatamente isso que este artigo investiga. Os autores, uma equipe de pesquisadores da Universidade de Aberdeen, decidiram brincar de detetive. Eles reuniram os checklists de mais de 3.000 artigos submetidos à conferência EMNLP 2025 e os analisaram como uma equipe forense examinando uma cena de crime. Eles não olharam apenas para as marcas de "Sim" ou "Não"; eles olharam para as pequenas notas (justificativas) que os autores escreveram para explicar suas escolhas. Eles queriam ver se o checklist estava realmente tornando os pesquisadores mais responsáveis ou se havia se tornado apenas um jogo chato e mecânico de "marcar caixas".

O Grande Assalto do "Marcar a Caixa"

Os autores deste estudo trataram os checklists da EMNLP 2025 como um enorme quebra-cabeça. Eles construíram um pipeline computacional especial (um conjunto de ferramentas automatizadas) para ler milhares de artigos em PDF e seus respectivos checklists, vinculando as respostas às seções específicas dos artigos onde os autores alegaram ter realizado o trabalho. Eles analisaram um massivo total de 7-3,922 respostas e justificativas individuais. O que encontraram sugere que, para muitos pesquisadores, o checklist tornou-se menos uma séria inspeção de segurança e mais um exercício de "marcar caixas" — uma tarefa feita apenas para se livrar dela.

O Problema do "Pensamento Posterior"
Uma das descobertas mais impressionantes é que os pesquisadores frequentemente tratam a ética como um pensamento posterior, como lembrar de trancar a porta da frente somente depois de já ter saído de casa. O estudo descobriu que, para a "Trilha Principal" (Main Track) da conferência, os autores tendiam a isolar as questões de ética do restante de seu artigo. Em vez de tecer a segurança e a ética na história de sua pesquisa, eles as anexavam ao final. É como se um chef escrevesse uma receita para um bolo delicioso, mas mencionasse a segurança do forno apenas em uma nota de rodapé minúscula no final, em vez de explicar como verificou a temperatura enquanto cozinhava.

O Desastre da Justificativa do "Não"
Quando os pesquisadores respondiam "Não" a uma pergunta (significando, "Não, eu não fiz esta ação ética específica"), eles deveriam explicar o porquê. Esta é a parte mais crítica do checklist, pois força você a admitir o que não fez. No entanto, os autores descobriram que 44,9% dessas justificativas de "Não" eram vazias (em branco) ou incrivelmente breves (uma ou duas palavras como "Não aplicável").

Imagine um motorista sendo parado por um farol quebrado. Quando o policial pergunta: "Por que você não o consertou?", o motorista apenas dá de ombros e diz: "Tanto faz", ou não diz nada. Foi o que quase metade dos pesquisadores fez. Eles não explicaram por que pularam a etapa de segurança; eles apenas marcaram a caixa e seguiram em frente. Isso é um problema grave porque, sem uma boa explicação, ninguém sabe se o risco era realmente baixo ou se o pesquisador apenas não se importava.

O Ponto Cego dos "Riscos"
Talvez a descoberta mais preocupante diga respeito à pergunta sobre riscos potenciais. Esta é a parte onde os pesquisadores são solicitados a pensar: "Minha IA poderia ser usada para ferir pessoas? Poderia espalhar preconceitos?". O estudo descobriu que 53% dos autores descartaram esses riscos inteiramente, alegando que seu trabalho tinha "nenhum risco" ou "nenhum impacto social".

Os autores argumentam que isso é como um fabricante de carros dizendo: "Nosso novo carro não tem risco de bater", sem nunca testar os freios. O artigo sugere que, ao simplesmente marcar "Sem riscos" sem uma reflexão profunda e honesta, os pesquisadores estão ignorando os perigos do mundo real de suas criações. O design do checklist não os forçou a pensar o suficiente; permitiu que eles se esquivassem da responsabilidade muito facilmente.

A Brecha Lógica
O estudo também descobriu que os checklists estavam cheios de contradições lógicas. O checklist é estruturado como uma árvore: se você responde "Não" a uma pergunta grande (a "pai"), todas as perguntas menores abaixo dela (as "filhas") também devem ser "Não" ou "Não Aplicável". Mas os autores descobriram que 6% de todos os checklists tinham erros lógicos.

Por exemplo, um pesquisador pode responder "Não" à pergunta "Você usou algum dado?" mas depois responder "Sim" à pergunta filha "Você descreveu os dados que usou?". É como dizer: "Eu não assei um bolo" e, imediatamente depois, dizer: "Sim, eu usei gotas de chocolate". Essas contradições sugerem que muitos autores estavam preenchendo o formulário de forma descuidada, sem perceber que suas respostas não faziam sentido. Essa confusão torna difícil para os revisores confiarem no checklist.

Trilha Principal vs. Trilha de Descobertas (Findings Track)
Os pesquisadores compararam a "Trilha Principal" (os artigos mais prestigiados) com a "Trilha de Descobertas" (artigos com contribuições sólidas, mas mais estreitas). Eles esperavam que a Trilha Principal fosse mais cuidadosa. Embora a Trilha Principal tivesse uma conformidade ligeiramente melhor, os maus hábitos estavam presentes em ambas. Mesmo nos artigos de alto nível, os pesquisadores estavam pulando reflexões éticas e escrevendo justificativas vazias. Isso sugere que o problema não é apenas a qualidade dos artigos, mas sim como o próprio checklist está sendo usado (ou mal utilizado) por todos.

O Veredito: Um Formulário de Inspeção Quebrado?

O artigo conclui que o design atual do checklist está falhando em cumprir seu papel. Ele não está conseguindo forçar os pesquisadores a pensar sobre a ética e os riscos de seu trabalho. Em vez disso, tornou-se um obstáculo burocrático que as pessoas apenas atravessam rapidamente. Os autores apontam que o checklist incentiva a "conformidade superficial" — onde os pesquisadores parecem estar seguindo as regras sem realmente realizar o trabalho árduo de reflexão.

O estudo sugere que o checklist precisa de uma reforma séria. Eles recomendam:

1. Impor uma contagem mínima de palavras: Se você disser "Não", deve escrever uma explicação real, não apenas um dar de ombros.
2. Melhor design: O formulário deve impedir contradições lógicas (como o problema do "Não assar o bolo, mas sim usar gotas de chocolate") ao ocultar automaticamente as perguntas que não se aplicam.
3. Maior escrutínio: Os revisores devem olhar muito mais de perto as respostas de "Sem riscos", pois afirmar que uma nova tecnologia tem zero risco é frequentemente um sinal de alerta.

Em resumo, o artigo argumenta que não podemos confiar em um simples checklist para tornar a IA segura. Se as pessoas que constroem o futuro da tecnologia estão apenas marcando caixas sem pensar, a "inspeção de segurança" é falsa. Os autores esperam que, ao expor essas falhas, a comunidade possa construir um sistema melhor — um que realmente faça os pesquisadores pausarem e perguntarem: "Isso é seguro?" antes de publicarem.