It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

No mundo da inteligência artificial, as máquinas são frequentemente ensinadas a tomar decisões perseguindo um único objetivo, como um robô aspirador limpando um chão ou um programa vencendo uma partida de xadrez. Mas o mundo real raramente é tão simples. Frequentemente, um agente deve lidar com vários objetivos conflitantes ao mesmo tempo, como um carro autônomo tentando chegar a um destino rapidamente e, ao mesmo tempo, manter-se seguro e economizar energia. Quando esses objetivos conflitam, a máquina precisa de uma maneira de decidir qual deles importa mais. Além disso, as consequências de uma decisão podem se desenrolar em diferentes extensões de tempo. Um pequeno erro pode causar um problema imediato, enquanto uma série de pequenos erros pode apenas se acumular para um desastre meses depois. Durante anos, pesquisadores desenvolveram diferentes ferramentas matemáticas para lidar com essas situações, mas, geralmente, trataram cada intervalo de tempo como um problema separado, escolhendo um método para riscos imediatos e outro para médias de longo prazo.

Um novo estudo desafia essa separação, argumentando que decisões do mundo real frequentemente exigem que um agente se preocupe com consequências imediatas, de médio e de longo prazo, tudo ao mesmo tempo. Os pesquisadores, trabalhando em instituições na Bélgica, Brasil e Austrália, demonstram que confiar em apenas um desses métodos tradicionais pode levar a resultados perigosos ou ineficientes quando múltiplos intervalos de tempo estão envolvidos. Ao simular um cenário envolvendo trabalhadores expostos a substâncias tóxicas, eles mostram que uma estratégia projetada para proteger contra a exposição média de longo prazo pode acidentalmente sacrificar um trabalhador a um pico de perigo de curto prazo, enquanto uma estratégia focada na segurança imediata pode ignorar uma crise de saúde de construção lenta. O trabalho deles sugere que, para construir uma inteligência artificial verdadeiramente segura e eficaz, precisamos de novas formas de pensar que possam equilibrar esses diferentes relógios simultaneamente.

O cerne do problema reside em como medimos a "felicidade" ou "utilidade" para um agente. Em muitos sistemas de IA padrão, a máquina calcula a recompensa média que espera obter ao longo de um longo período e tenta maximizar esse número. Isso funciona bem para uma fábrica que processa milhares de arquivos de vídeo por dia; se o uso de energia e a velocidade médios forem bons, o sistema é considerado bem-sucedido, mesmo que um arquivo específico tenha demorado demais para ser processado. No entanto, essa abordagem falha quando um único resultado ruim é catastrófico. Considere um paciente passando por um tratamento médico. Esse paciente vivenciará o tratamento apenas uma vez. Ele não se importa com o resultado médio de milhares de outros pacientes; ele se importa com seu próprio resultado específico. Se o tratamento tem um risco não linear — significando que um pequeno aumento na dosagem causa um salto massivo no perigo — o cálculo da média esconde o verdadeiro risco. O paciente precisa de um sistema que avalie o resultado específico de sua jornada única, não a média de muitas jornadas.

Existe uma terceira forma de olhar para o tempo, que foca no exato próximo passo. Imagine um carro colidindo com uma parede. O perigo de ferimentos depende não linearmente da força do impacto. Um impacto forte é muito mais perigoso do que um suave, e o risco não se soma simplesmente ao longo do tempo; cem batidas suaves não equivalem a um acidente grave. Nesta visão, o sistema deve avaliar o risco de cada momento conforme ele acontece, aplicando uma penalidade imediatamente se ocorrer uma combinação perigosa de fatores. Por décadas, pesquisadores trataram essas três perspectivas — médias de longo prazo, resultados de jornada única e riscos imediatos passo a passo — como ferramentas separadas para trabalhos distintos. Os autores deste novo artigo argumentam que essa separação é uma falha. Eles propõem que muitos problemas complexos exigem que um agente se importe com as três escalas de tempo ao mesmo tempo.

Para provar este ponto, os pesquisadores criaram uma simulação simplificada envolvendo três funcionários e três tarefas diferentes, cada uma com um nível diferente de toxicidade. O objetivo era atribuir esses trabalhadores a tarefas ao longo de um período de um mês, mantendo-os seguros. A toxicidade do trabalho não era apenas um número simples; ela tinha diferentes efeitos dependendo de quando era medida. Havia um risco imediato de uma dose alta dentro de um único dia, um risco de médio prazo de exposição total ao longo do mês e um risco de longo prazo de danos cumulativos ao longo de muitos meses. A equipe executou a simulação usando os três métodos tradicionais separadamente e, em seguida, tentou combiná-los.

Quando o sistema focou apenas na média de longo prazo, encontrou uma estratégia que mantinha dois trabalhadores experientes seguros através de uma rotação constante, mas efetivamente sacrificou o terceiro, menos experiente, atribuindo-lhe as tarefas mais perigosas repetidamente. A lógica era que o risco médio para o grupo era baixo, então o sistema ignorou o fato de que uma pessoa estava sendo sobrecarregada. Quando o sistema focou apenas no resultado da jornada única, aprendeu a rotacionar os trabalhadores com frequência para garantir que ninguém enfrentasse uma dose total perigosamente alta para aquele mês específico. Isso manteve todos relativamente seguros, mas resultou em muitas trocas que poderiam não ser eficientes. Quando o sistema focou apenas no risco imediato passo a passo, evitou a troca de trabalhadores inteiramente, preferindo mantê-los em tarefas que correspondiam ao seu nível de habilidade, o que era uma abordagem segura, porém rígida.

O resultado mais revelador surgiu quando os pesquisadores tentaram otimizar para as três escalas de tempo simultaneamente. Eles usaram um método que combinava os riscos imediatos, mensais e de longo prazo em um único objetivo. A estratégia resultante foi uma mistura das outras, mas revelou uma falha crítica ao tentar equilibrar esses relógios concorrentes sem um novo framework. O sistema novamente tendeu a sacrificar o trabalhador menos experiente, atribuindo-lhe as tarefas mais difíceis para proteger os outros tanto de picos imediatos quanto da acumulação de longo prazo. A simulação mostrou que simplesmente tentar tirar a média das diferentes escalas de tempo não funciona; a natureza não linear dos riscos significa que proteger uma escala de tempo pode inadvertidamente colocar outra em perigo. Os pesquisadores descobriram que as políticas que funcionavam bem para uma escala de tempo eram frequentemente as piores escolhas quando todas as escalas eram consideradas juntas.

Este achado destaca uma lacuna significativa na pesquisa atual de inteligência artificial. Embora tenhamos ferramentas poderosas para lidar com médias de longo prazo ou riscos imediatos, carecemos de um método abrangente para lidar com eles juntos. Os autores sugerem que os sistemas futuros precisam aprender a distribuição dos resultados possíveis, entendendo não apenas o resultado médio, mas a gama completa do que poderia acontecer em diferentes janelas de tempo. Eles reconhecem que este é um desafio difícil, pois mudar uma política para melhorar a segurança em uma escala de tempo pode piorá-la em outra, criando um cenário complexo de compensações (trade-offs). No entanto, eles acreditam que desenvolver essas abordagens combinadas é essencial para aplicações do mundo real, desde o gerenciamento de radioterapia na medicina até a otimização de atendimento ao cliente em negócios, onde a segurança e a satisfação dos indivíduos devem ser equilibradas com a eficiência do todo.

O estudo conclui que a maneira como ensinamos as máquinas a tomar decisões atualmente é muito estreita. Ao tratar o tempo como uma dimensão única ou ao escolher uma perspectiva sobre as outras, corremos o risco de criar sistemas que são seguros na teoria, mas perigosos na prática. O caminho a seguir exige novos algoritmos que possam manter múltiplas escalas de tempo em mente ao mesmo tempo, garantindo que um agente não apenas maximize uma média ou evite um único dia ruim, mas compreenda verdadeiramente o peso total de suas ações ao longo de todo o seu espectro de existência. Isto não é apenas um ajuste técnico, mas uma evolução necessária para garantir que a inteligência artificial possa navegar na realidade complexa e multifacetada da vida humana.