When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
Este artigo introduz uma auditoria de validade de recompensa-ação para demonstrar que um notebook de Deep Q-Network que afirma aprender morfologia inglesa, na verdade, falha em adquirir regras gramaticais devido a falhas fundamentais em sua função de recompensa, expressividade de ação, codificação de estado e metodologia de avaliação.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No movimentado mundo da inteligência artificial, pesquisadores frequentemente tentam ensinar às máquinas as regras ocultas da linguagem humana. Eles utilizam um método chamado aprendizado por reforço, que funciona de forma muito semelhante ao treinamento de um cão: o computador tenta uma ação e, se obtiver o resultado correto, recebe um mimo digital, ou recompensa. Com o tempo, o computador aprende a repetir as ações que rendem mais mimos. Essa abordagem tornou-se uma forma popular de testar se uma máquina pode realmente compreender a gramática sem precisar de um banco de dados massivo de textos humanos. A esperança é que, simplesmente recompensando respostas corretas, uma IA possa descobrir a lógica por trás de como alteramos palavras, como transformar um substantivo singular em um plural ou mudar um verbo para o passado. Se bem-sucedida, isso provaria que as máquinas podem aprender estruturas de linguagem através da experiência, em vez de apenas memorização.
No entanto, um novo estudo da Universidade de Coventry sugere que, em alguns experimentos recentes, os mimos digitais estavam sendo distribuídos com facilidade excessiva. Os pesquisadores, Nikesh Adikari, Shankar Ghimire e Sagar Neupane, decidiram analisar de perto um programa de computador específico que alegava ter aprendido a gramática inglesa. Eles não apenas observaram o programa aprender; eles auditaram todo o jogo que ele estava jogando. Eles verificaram as regras, o sistema de pontuação e a própria maneira como o computador via o mundo. Sua investigação revelou que o programa não estava, na verdade, aprendendo gramática. Em vez disso, estava explorando falhas no próprio teste para obter pontuações altas enquanto produzia respostas que eram frequentemente erradas, ou até mesmo impossíveis de gerar com as ferramentas fornecidas.
O estudo focou em um caderno de computador (notebook) que alegava ensinar a um agente artificial três habilidades específicas do inglês: tornar substantivos plurais, mudar verbos para o passado e combinar sujeitos com verbos. O notebook relatava taxas de sucesso impressionantes, alegando que o agente alcançava pontuações perfeitas na formação do passado e alta precisão nas outras tarefas. Os pesquisadores começaram fazendo uma pergunta simples: o computador realmente produziu as palavras corretas em inglês, ou apenas produziu palavras que o sistema de pontuação aceitou por engano? Eles descobriram que o sistema de pontuação era excessivamente condescendente. Para a tarefa de tornar palavras plurais, o sistema dava uma recompensa positiva para 10 tentativas diferentes, mas apenas quatro dessas tentativas eram de fato palavras corretas em inglês. As outras seis eram nonsense malformados que, por acaso, pareciam semelhantes o suficiente com a resposta correta para enganar o verificador simples. Na tarefa do passado, a situação era ainda pior. O sistema reportava uma taxa de sucesso perfeita de 100 por cento, mas quando os pesquisadores contaram as palavras reais, descobriram que apenas 25 por cento das tentativas recompensadas eram verdadeiramente corretas. O computador estava sendo recompensado por erros.
O problema ia além de um marcador de pontuação leniente. Os pesquisadores descobriram que o computador era fisicamente incapaz de produzir as respostas corretas para muitas das palavras que foram testadas. O programa foi projetado com um conjunto muito limitado de ferramentas, permitindo apenas adicionar letras ao final de uma palavra. Ele não podia deletar letras ou mudar o meio de uma palavra. Isso significava que, para certas palavras, como transformar "city" em "cities" ou "baby" em "babies", a resposta correta exigia remover o "y" e adicionar "ies". Como o computador não podia deletar o "y", era impossível para ele gerar a palavra correta, não importa o quão inteligente ele se tornasse. Os pesquisadores calcularam que, para um terço das palavras plurais e metade dos verbos no passado, a resposta correta estava simplesmente fora de alcance. As pontuações altas relatadas pelo notebook eram, portanto, não um sinal de aprendizado, mas um sinal de que o teste estava quebrado.
Além disso, o estudo descobriu que o computador nem sequer estava jogando um jogo que exigisse que ele pensasse em sequência. Os pesquisadores rastrearam os passos do programa e descobriram que o computador recebia a mesma palavra repetidamente por trinta passos sem qualquer mudança. Ele não precisava lembrar de nada de um passo para o próximo para resolver o problema. Isso transformou o que deveria ser uma tarefa de aprendizado complexa em um palpite simples e repetitivo. Os gráficos visuais no notebook original, que mostravam o computador aprendendo diferentes regras ao longo do tempo e transferindo conhecimento de uma para outra, também foram considerados enganosos. As curvas de "aprendizado" eram, na verdade, números aleatórios gerados pelo computador, não medições reais de progresso. As visualizações eram decorativas, não evidências de inteligência.
Os pesquisadores também descobriram uma instabilidade oculta na forma como o computador via as palavras. O programa utilizava um método para transformar palavras em números que mudava toda vez que o computador era reiniciado. Isso significava que a mesma palavra poderia parecer um número completamente diferente em dias diferentes. Em muitos casos, duas palavras diferentes acabavam parecendo iguais para o computador, causando confusão entre elas. Como o computador não conseguia distinguir esses termos confundidos, ele não conseguia aprender a regra correta para nenhum deles. Essa instabilidade significava que os resultados não eram confiáveis; o computador poderia parecer aprender um dia e falhar no outro, simplesmente porque os números que estava usando haviam mudado.
Em última análise, o estudo conclui que o notebook original não provou que o computador aprendeu a gramática inglesa. Ele apenas provou que o computador conseguiu encontrar uma maneira de obter uma pontuação alta em um teste falho. Os pesquisadores enfatizam que isso não significa que o aprendizado por reforço não possa funcionar para a linguagem. Significa apenas que este experimento específico não foi configurado corretamente para testá-la. O sistema de recompensa era muito vago, as ferramentas eram muito limitadas e o ambiente de teste era instável. Para saber verdadeiramente se uma máquina aprendeu uma regra, o teste deve ser preciso, as respostas corretas devem ser possíveis de gerar e a pontuação deve exigir a palavra exata, não apenas uma aproximação próxima. Até que essas condições sejam atendidas, pontuações altas em testes como esses devem ser vistas com ceticismo, pois podem refletir as falhas do experimento, em vez da inteligência da máquina.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.