An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models

No mundo moderno da inteligência artificial, uma estratégia popular para ensinar máquinas a controlar sistemas físicos — como robôs ou carros autônomos — é fazer com que a máquina primeiro construa um mapa mental de como o mundo funciona. Este mapa, frequentemente chamado de "modelo de mundo", prevê o que acontecerá a seguir se uma ação específica for tomada. Uma vez que a máquina possui este mapa, ela utiliza um algoritmo de planejamento para simular milhares de futuros possíveis, procurando a sequência de ações que leva ao melhor resultado. A suposição tem sido, há muito tempo, que se este mapa mental for preciso o suficiente nos dados que ele viu, será seguro utilizá-lo para o planejamento. Se o mapa prevê o futuro corretamente em mil testes, assume-se que ele é um guia confiável.

No entanto, um novo estudo desafia essa suposição ao observar o que acontece quando o mundo contém eventos raros e súbitos que a máquina nunca encontrou em seu treinamento. Imagine um carro que aprendeu a dirigir em uma estrada suave, mas nunca viu uma parede. Se a parede for rara o suficiente para que o carro nunca tenha colidido nela durante seu treinamento, o mapa mental da máquina pode simplesmente ignorar a existência da parede, assumindo que a estrada continua para sempre. O perigo é que, quando a máquina finalmente tentar dirigir no mundo real, ela poderá planejar um caminho diretamente para dentro dessa parede invisível, acreditando que pode passar por ela. A questão que os pesquisadores levantaram foi se uma verificação de segurança padrão, que testa o mapa da máquina contra amostras aleatórias do mundo, detectaria esse tipo específico de cegueira antes que ela causasse um acidente.

Os pesquisadores configuraram uma série de experimentos controlados para responder a isso, utilizando simulações físicas simples, como um carrinho movendo-se ao longo de uma pista ou um pêndulo oscilando. Nessas simulações, eles introduziram uma "regra rara": uma parada brusca, como uma parede ou um chão, que interromperia instantaneamente o movimento do objeto se este os tocasse. Eles então pediram a um modelo de linguagem de grande escala (LLM) que escrevesse o código para o mapa mental da máquina, mas ocultaram deliberadamente a existência desta parede dos dados de treinamento do modelo. O modelo recebeu apenas movimentos aleatórios do carrinho ou do pêndulo que, por acaso, evitavam a parede. Como a parede era rara, o modelo muitas vezes nunca a viu durante seu treinamento.

Os resultados foram drásticos. Quando os pesquisadores testaram os modelos usando uma verificação de segurança padrão — executando o modelo através de milhares de cenários aleatórios para ver se ele correspondia à física real — os modelos frequentemente passavam. Eles eram aceitos como "corretos" porque, nos milhares de testes aleatórios, a parede nunca era acionada. No entanto, quando esses modelos "verificados" eram entregues a um planejador para controlar o sistema, o planejador conduzia confiantemente o carrinho ou o pêndulo diretamente contra a parede oculta. O modelo, não tendo conceito da parede, previa que o objeto passaria direto por ela. O planejador, confiando nessa previsão falsa, dirigia o objeto contra a parede, onde ele ficava preso. A máquina, então, era incapaz de atingir seu objetivo, perdendo quase todo o seu potencial de sucesso. O estudo descobriu que esta falha não era um erro de cálculo, mas uma lacuna fundamental de conhecimento: o modelo era cego a uma regra que existia, mas que nunca fora amostrada.

Os pesquisadores descobriram que a probabilidade deste desastre segue um padrão matemático preciso baseado na raridade. Se um evento perigoso acontece em um de cada cem testes aleatórios, e a verificação de segurança executa apenas cem testes, há uma chance significativa de a verificação perder o evento inteiramente. Se a verificação executar mil testes, a chance de perder o evento cai, mas nunca chega a zero. O estudo provou que, enquanto os dados de treinamento não incluírem o evento raro, nenhum nível de planejamento inteligente ou refinamento do modelo pode descobri-lo. O modelo permanece cego e a verificação de segurança, por sua própria natureza de usar amostragem aleatória, não pode garantir que o ponto cego tenha sido encontrado.

O estudo também explorou se a máquina poderia aprender a regra se lhe fosse mostrada a parede durante o treinamento. Em tarefas simples de uma dimensão, como um carrinho movendo-se em linha reta, a resposta foi surpreendentemente positiva. Quando o modelo foi mostrado alguns exemplos do carrinho atingindo a parede, o modelo de linguagem foi capaz de escrever o código exato para parar o carrinho, efetivamente "reparando" seu mapa mental. Ele aprendeu a regra perfeitamente. No entanto, os pesquisadores então passaram para ambientes mais complexos, de duas dimensões, onde a parede era um patch circular sobre uma superfície plana. Nesses casos, mesmo quando o modelo foi mostrado a parede atingindo o patch, ele falhou em inferir a forma e a localização corretas do limite. Em vez de aprender a regra circular, o modelo inventava formas incorretas, como uma linha reta ou um quadrado, ou simplesmente congelava o objeto no lugar sem entender o porquê. O modelo não conseguiu generalizar a partir dos poucos exemplos que viu para a forma completa do obstáculo.

Esta descoberta destaca uma limitação crítica na forma como esses sistemas aprendem. O estudo mostrou que, embora a máquina possa ser excelente em traduzir uma regra que lhe é explicitamente dita ou mostrada em um contexto simples, ela tem dificuldade em inferir a forma e a localização de uma regra complexa a partir de evidências dispersas. A capacidade da máquina de "corrigir-se" depende fortemente da geometria do problema. Em casos simples, funciona; em casos complexos, de duas dimensões, falha. Os pesquisadores testaram várias maneiras de ajudar o modelo, como fornecer mais exemplos, mudar a forma como ele era instruído a pensar ou fornecer pistas sobre a forma do obstáculo. Nenhuma dessas intervenções funcionou. O modelo consistentemente falhou em induzir a regra correta para o patch bidimensional, frequentemente substituindo-a por uma forma mais simples e incorreta.

As implicações deste trabalho são significativas para qualquer pessoa que dependa de IA para controlar sistemas físicos. Sugere que verificações de segurança baseadas em amostragem aleatória são insuficientes para detectar falhas raras, mas catastróficas. Um modelo pode passar em todos os testes que lhe são aplicados e ainda assim ser perigosamente equivocado sobre um evento específico e raro. O estudo prova que, se um evento perigoso for raro o suficiente para ser perdido pelo processo de amostragem, o modelo permanecerá cego e o planejador explorará essa cegueira, levando ao fracasso. A única maneira de garantir a segurança é garantir que os dados de treinamento cubram as fronteiras desses eventos raros, ou utilizar um tipo diferente de verificação que não dependa do acaso aleatório. A pesquisa conclui que, embora a IA possa ser extraordinariamente boa em aprender com dados, ela não pode aprender o que nunca viu e, no mundo físico, o que ela nunca viu pode ser exatamente o que causará o maior dano.