Benign interpolation and Occam's razor
Este artigo argumenta que as recentes tentativas de explicar o sucesso da generalização de modelos de aprendizagem profunda interpoladores através de um apelo à navalha de Occam criam uma lacuna explicativa ao confundir propriedades não comprovadas de modelos individuais com a conexão rigorosa e amparada por teoremas entre a simplicidade da classe de modelos e a generalização encontrada na teoria clássica da aprendizagem.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você esteja tentando ensinar um robô a reconhecer fotos de gatos e cachorros. Você mostra a ele milhares de fotos, e ele aprende a notar a diferença. Nos velhos tempos da ciência da computação, havia uma regra de ouro chamada "Navalha de Occam". Ela basicamente dizia: "Mantenha o simples". Se duas teorias explicam os dados, escolha a mais simples. Por quê? Porque se um modelo se tornar complexo demais, ele começará a memorizar as fotos de treinamento como um papagaio, em vez de realmente aprender o que um gato parece ser. Isso é chamado de "overfitting" (sobreajuste), e é um desastre. Se o robô vir uma foto nova, ele falhará porque estava ocupado demais memorizando as antigas.
Por décadas, cientistas usaram essa regra para construir uma IA segura e confiável. Eles acreditavam que, para fazer um robô inteligente, era necessário limitar seu poder cerebral para que ele não se confundisse. Mas então, algo estranho aconteceu. A IA moderna, especificamente o "deep learning" (aprendizado profundo), começou a quebrar todas as regras. Esses novos robôs têm cérebros tão enormes que podem memorizar cada uma das fotos de treinamento perfeitamente, mesmo se você embaralhar os rótulos e disser que um gato é uma torradeira. Pelas velhas regras, eles deveriam ser terríveis em adivinhar novas imagens. No entanto, eles são incríveis nisso. Eles se ajustam perfeitamente aos dados bagunçados, mas ainda assim acertam as previsões do futuro. Esse fenômeno estranho é chamado de "interpolação benigna", e deixou os cientistas intrigados, perguntando-se como um robô pode ser, ao mesmo tempo, um memorizador perfeito e um preditor brilhante.
Este artigo, escrito por Tom F. Sterkenburg, Daniel A. Herrmann e Jan-Willem Romeijn, mergulha neste mistério para ver se as novas explicações para este milagre se sustentam. Os autores estão, essencialmente, atuando como detetives, investigando uma nova teoria popular que surgiu para explicar por que esses modelos gigantes de IA funcionam tão bem.
A nova teoria sugere que, embora esses modelos de IA sejam enormes e complexos, a maneira como eles aprendem (usando um método chamado "descida de gradiente estocástica") secretamente os empurra em direção à solução mais "simples" possível entre todos os ajustes perfeitos. É como um caminhante que tem um milhão de caminhos para escolher para chegar ao topo de um pico; a teoria afirma que as botas do caminhante naturalmente o guiam pelo caminho mais suave e direto, ignorando os trilhos irregulares e rochosos. Os defensores dessa ideia chamam isso de "viés de simplicidade" e dizem que é uma versão moderna da Navalha de Occam salvando o dia. Eles argumentam que a IA escolhe o modelo mais simples que se ajusta aos dados, e é por isso que ela generaliza tão bem.
No entanto, os autores deste artigo argumentam que essa explicação possui um enorme buraco. Eles apontam que a antiga "Navalha de Occam" era uma regra matematicamente comprovada sobre grupos de modelos (classes de modelos). Ela provava que, se você escolher um grupo pequeno e simples de modelos, você tem a garantia de que terá um bom desempenho. Mas a nova teoria está falando de modelos individuais. Ela diz: "Este modelo específico é simples porque possui uma 'norma' baixa (uma medida matemática de tamanho) ou é 'suave'".
O problema, explicam os autores, é que não existe uma prova matemática conectando a simplicidade de um modelo individual à sua capacidade de prever o futuro. Nos velhos tempos, a matemática garantia que grupos simples funcionavam. Na nova história, os autores afirmam que os cientistas estão apenas chamando esses modelos específicos de "simples" e esperando que o nome "Navalha de Occam" faça o trabalho pesado por eles. É como dizer: "Esta pedra é uma pedra mágica porque eu a chamei de pedra mágica", sem qualquer prova de que pedras mágicas realmente existem.
O artigo sugere que, embora essas novas ideias sejam interessantes, elas deixam uma lacuna. Eles não provaram de fato por que escolher um modelo individual "simples" leva a boas previsões. Os autores argumentam que a nova teoria é, essencialmente, uma grande suposição não comprovada: de que o mundo é cheio de padrões simples que esses modelos de IA por acaso encontram. Eles não dizem que essa suposição é errada, mas insistem que as explicações atuais são apenas palpites. Eles estão usando o nome de um princípio famoso (Navalha de Occam) para fazer uma suposição ousada parecer um fato científico sólido.
Então, qual é o veredito? O artigo não diz que a nova IA está quebrada; diz que ainda não entendemos totalmente por que ela funciona. Os autores sugerem que talvez a resposta não seja uma regra universal sobre simplicidade, mas algo mais específico aos dados que coletamos ou às tarefas específicas que pedimos à IA. Até que alguém consiga provar a conexão entre "modelos individuais simples" e "boas previsões", o mistério da interpolação benigna continua sendo apenas isso — um mistério. A nova teoria é uma pista promissora, mas não é a resposta final.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.