From Next Token Prediction to (STRIPS) World Models
Este artigo investiga se a previsão do próximo token pode gerar modelos de mundo capazes de planejamento em ambientes simbólicos, demonstrando que, embora o modelo "STRIPS Transformer" tenha um viés indutivo forte, um transformer padrão com atenção de quebra de vara (stick-breaking) alcança maior precisão e generalização, permitindo a extração de modelos STRIPS válidos para planejamento em estados e objetivos não vistos.