No mundo da inteligência artificial, as máquinas estão aprendendo cada vez mais a tomar decisões por tentativa e erro, um método conhecido como aprendizagem por reforço. Imagine um agente digital explorando um novo ambiente, tentando diferentes ações para ver quais delas levam a recompensas, de forma muito semelhante a uma criança aprendendo a andar de bicicleta ao cair e se levantar. Essa abordagem produziu sistemas capazes de jogar jogos complexos e navegar robôs, mas traz consigo um risco significativo: a máquina pode aprender a atingir seu objetivo fazendo algo perigoso ou proibido. Para evitar isso, os engenheiros utilizam um mecanismo de segurança chamado escudo. Pense em um escudo como um supervisor vigilante que observa os movimentos propostos pelo agente e bloqueia quaisquer deles que venham a quebrar as regras, permitindo que o agente aprenda livremente apenas dentro de uma zona segura. Durante anos, esses supervisores foram estáticos, construídos sobre um conjunto fixo de regras sobre como o mundo funciona. Eles assumem que o ambiente se comporta exatamente como o previsto, como um mapa que nunca muda. No entanto, no mundo real, as condições mudam, sensores falham e eventos inesperados ocorrem. Quando o ambiente quebra as regras sobre as quais o escudo foi construído, o supervisor frequentemente fica paralisado ou excessivamente cauteloso, impedindo o agente de fazer qualquer coisa útil ou, pior, falhando em evitar um desastre porque seu mapa não corresponde mais à realidade.

Pesquisadores do Imperial College London e da Universidade de Buenos Aires desenvolveram uma nova maneira de lidar com este problema, criando um sistema de segurança que pode aprender e se adaptar quando suas suposições são provadas erradas. O trabalho deles, apresentado em uma conferência recente sobre aprendizagem neurosimbólica, foca em um tipo específico de estrutura lógica que permite que esses supervisores de segurança se reparem. Em vez de depender de um conjunto de instruções rígido e imutável, seu sistema monitora o ambiente em tempo real. Se o ambiente se comporta de uma maneira que contradiz as regras originais — como uma bomba de mina encontrando uma condição de gás perigosa que anteriormente era considerada impossível — o sistema detecta o erro. Ele então utiliza uma técnica de aprendizagem especializada para reescrever suas próprias regras, encontrando uma nova maneira de garantir a segurança enquanto ainda permite que o agente complete sua tarefa. Esse processo garante que o agente permaneça seguro e eficaz mesmo quando o mundo não se comporta como o esperado, preenchendo a lacuna entre a lógica rígida da segurança formal e a natureza imprevisível da aprendizagem no mundo real.

O cerne desta inovação reside em como os pesquisadores lidam com o conceito de "vivacidade" (liveness), que é a capacidade de um sistema de continuar avançando e eventualmente atingir seus objetivos, em vez de apenas evitar o perigo imediato. Em seus experimentos, eles testaram dois cenários muito diferentes. O primeiro foi um sistema simulado de bomba de mina, um problema clássico onde um controlador deve bombear água para fora de uma mina, mas deve parar imediatamente se o gás metano for detectado para evitar uma explosão. As regras de segurança originais assumiam que altos níveis de água e gás metano nunca aconteceriam ao mesmo tempo. No mundo real, no entanto, essa suposição pode ser violada. Quando os pesquisadores introduziram essa situação impossível em sua simulação, os antigos controladores de segurança estáticos falharam completamente. Eles ou paravam a bomba inteiramente, deixando a mina inundar, ou permitiam que a bomba funcionasse, arriscando uma explosão. O novo sistema adaptativo, por outro outro lado, percebeu a contradição. Ele percebeu que a regra sobre a mistura de água e gás era falsa. Ele então atualizou sua própria lógica para dizer: "Se o gás estiver presente, não bombeie; mas se a água estiver alta e o gás não estiver presente, bombeie". Este pequeno reparo lógico permitiu que o sistema continuasse operando de forma segura e eficiente, enquanto os sistemas estáticos ficaram travados.

O segundo teste ocorreu em um ambiente de videogame de alto risco chamado Seaquest, onde um agente controla um submarino. As regras de segurança aqui baseavam-se na suposição de que os níveis de oxigênio diminuiriam a uma taxa constante e previsível. No teste, os pesquisadores alteraram o jogo para que o oxigênio se esgotasse muito mais rápido uma vez que atingisse um certo nível baixo, um cenário que o escudo de segurança original não antecipava. Os escudos estáticos, construídos sobre a antiga taxa de perda de oxigênio mais lenta, ficaram confusos. Eles ou bloquearam o movimento do submarino quando ele precisava se mover, ou falharam em evitar que o oxigênio acabasse totalmente. O escudo adaptativo, contudo, detectou que o oxigênio estava desaparecendo mais rápido do que o esperado. Ele imediatamente ajustou seu modelo interno do mundo, enfraquecendo suas expectativas sobre quanto tempo o submarino poderia permanecer submerso enquanto mantinha a garantia absoluta de que o oxigênio nunca chegaria a zero. Isso permitiu que o submarino continuasse jogando o jogo, resgatando mergulhadores e coletando pontos, mesmo que o ambiente tivesse se tornado mais hostil do que as regras originais permitiam.

Os resultados desses experimentos foram claros e mensuráveis. No cenário da bomba de mina, o sistema adaptativo alcançou conformidade de segurança perfeita e manteve um alto nível de desempenho, obtendo recompensas quase tão altas quanto os melhores sistemas estáticos que tiveram permissão para falhar. No jogo Seaquest, o escudo adaptativo permitiu que o agente tivesse sucesso em quase todas as tentativas, enquanto os agentes sem escudo e aqueles com escudos estáticos falharam frequentemente quando o ambiente mudou. Os pesquisadores descobriram que o sistema só precisou intervir ocasionalmente, substituindo a ação proposta pelo agente por uma ação segura em menos de 20% dos passos no teste da bomba de mina e ainda menos no jogo. Essa baixa taxa de interferência mostra que o sistema não precisa microgerenciar constantemente o agente; ele apenas intervém quando o ambiente quebra as regras, e faz isso atualizando sua própria compreensão dessas regras.

O que torna esta abordagem particularmente poderosa é que ela não apenas adivinha probabilidades ou tenta aprender um modelo perfeito do mundo, o que pode ser impossível em situações complexas. Em vez disso, foca na estrutura lógica das próprias regras de segurança. Quando ocorre uma violação, o sistema utiliza um método chamado programação lógica indutiva para encontrar a mudança mais simples nas regras que tornaria a situação possível novamente. Isso significa que as mudanças são transparentes e compreensíveis; um engenheiro humano pode olhar para as novas regras e entender exatamente por que o sistema decidiu ajustar seu comportamento. Os pesquisadores demonstraram que este método preserva a capacidade do agente de aprender e otimizar seu desempenho, evitando a armadilha onde as medidas de segurança tornam o agente tão cauteloso que ele não consegue mais realizar seu trabalho. Ao permitir que o escudo de segurança evolua junto com o ambiente, o sistema mantém um equilíbrio entre segurança estrita e eficácia prática.

O estudo também destacou as limitações dos métodos atuais. Os pesquisadores mostraram que confiar em regras fixas e criadas manualmente é uma estratégia frágil. Quando o ambiente se desvia das suposições de projeto, os controladores estáticos frequentemente tornam-se inúteis, seja bloqueando toda ação ou falhando em prevenir danos. A abordagem adaptativa provou que é possível construir sistemas que sejam robustos contra essas mudanças inesperadas sem sacrificar a capacidade de aprender. No entanto, os pesquisadores observaram que este método funciona melhor atualmente em ambientes que podem ser descritos com etapas claras e discretas, como a bomba de mina ou a mecânica específica do videogame. Em mundos com dinâmicas fluidas e contínuas, a abstração lógica necessária pode ser mais difícil de definir. Além disso, o processo de reparo das regras leva tempo e, para sistemas muito grandes ou complexos, a velocidade deste reparo pode se tornar um gargalo. Apesar desses desafios, o trabalho oferece um passo significativo para tornar a inteligência artificial mais segura e confiável. Sugere um futuro onde os sistemas de segurança não são apenas barreiras rígidas, mas parceiros inteligentes que podem entender quando o mundo mudou e ajustar sua proteção adequadamente, garantindo que as máquinas possam operar com segurança mesmo diante do desconhecido.