BayesPrompt: human readable prompts that make sense

No panorama em rápida evolução da inteligência artificial, um fenômeno peculiar surgiu: computadores estão aprendendo a falar uma linguagem que os humanos não conseguem entender. Os grandes modelos de linguagem, os poderosos motores por trás dos chatbots e assistentes de escrita modernos, demonstraram uma capacidade notável chamada aprendizagem em contexto (in-context learning). Isso significa que eles podem resolver novas tarefas, desde traduzir idiomas até resolver problemas matemáticos, simplesmente lendo alguns exemplos fornecidos em uma caixa de texto, sem a necessidade de serem retreinados ou de terem suas configurações internas alteradas. A chave para desbloquear essa habilidade reside no prompt, o conjunto específico de instruções ou exemplos fornecidos à máquina. Durante muito tempo, pesquisadores assumiram que a melhor maneira de obter uma resposta perfeita era elaborar um prompt que soasse natural e gramaticalmente correto, tal como um humano escreveria. No entanto, uma descoberta surpreendente derrubou essa suposição: os prompts mais eficazes para essas máquinas são frequentemente sequências curtas e sem sentido de palavras que parecem um amontoado de termos desconexos para um leitor humano. Esses "pseudoprompts" podem ser muito mais eficientes em guiar o modelo para a resposta correta do que qualquer frase que uma pessoa pudesse compor, criando um estranho abismo entre o que funciona para a máquina e o que faz sentido para o humano.

Essa desconexão apresenta um desafio significativo para qualquer pessoa que tente usar essas ferramentas de forma confiável. Se a melhor maneira de falar com um computador é através de um código de tokens aleatórios, torna-se difícil confiar, depurar ou entender por que a máquina está se comportando de determinada maneira. Pesquisadores da Escola Internacional de Estudos Avançados na Itália e do Flatiron Institute em Nova York propuseram agora uma nova maneira de preencher essa lacuna. Eles argumentam que a razão pela qual obtemos esses prompts ininteligíveis é que o problema matemático usado para encontrá-los é incompleto. Ao tratar a busca por um prompt não apenas como um jogo de encontrar a pontuação mais alta, mas como um processo de raciocínio com probabilidade, eles desenvolveram um método que produz prompts que são simultaneamente altamente eficazes e perfeitamente legíveis. O trabalho deles sugere que o segredo para falar com essas máquinas não é abandonar a linguagem humana, mas usar um tipo diferente de pensamento estatístico para encontrar as palavras certas.

Os pesquisadores começaram examinando por que os métodos existentes falham em produzir prompts legíveis. As técnicas atuais agem frequentemente como um caminhante tentando encontrar o ponto mais baixo em um vasto vale nebuloso olhando apenas para o chão imediatamente sob seus pés. Elas buscam uma sequência de palavras que minimize a confusão do modelo, ou "perplexidade", sobre a resposta. Embora isso funcione bem para encontrar uma solução, ignora o fato de que a linguagem humana segue regras e padrões específicos. Sem um guia para manter a busca dentro do domínio da fala natural, o algoritmo deriva para territórios estranhos, montando tokens que a máquina ama, mas que os humanos não conseguem decifrar. Os autores perceberam que, para corrigir isso, precisariam adicionar um "prior", uma preferência estatística por frases que soem como o inglês normal, no processo de busca. Isso garante que o algoritmo não encontre apenas qualquer solução, mas uma que respeite a estrutura da linguagem humana.

Para resolver isso, a equipe reformulou todo o problema usando um framework conhecido como inferência Bayesiana. Em vez de simplesmente caçar o melhor prompt individual, eles trataram a tarefa como um processo de amostragem de um vasto cenário de possibilidades. Imagine tentar encontrar a melhor rota através de uma cidade complexa; em vez de apenas escolher o caminho mais curto em um mapa e esperar que funcione, você explora muitas rotas diferentes, pesando a probabilidade de cada uma estar correta contra o quão natural o caminho parece. Os pesquisadores usaram uma técnica de amostragem sofisticada chamada Monte Carlo via Cadeias de Markov para explorar o espaço de possíveis perguntas. Este método permite que o computador faça pequenas mudanças aleatórias em uma frase — trocando uma palavra, adicionando uma frase ou removendo um token — e então decida se mantém essa mudança com base em dois fatores: o quão bem a nova frase leva à resposta correta e o quão fluente e natural a frase soa.

Uma parte crucial do seu sucesso foi como iniciaram a busca. Em vez de começar com um amontoado aleatório de palavras, o que levaria muito tempo para se transformar em uma frase coerente, eles usaram um "modelo de linguagem reverso". Este é um programa de computador especial treinado para ler frases de trás para frente. Ao alimentar o modelo com a resposta e pedir que ele gere a pergunta de trás para frente, eles pudram criar um ponto de partida de alta qualidade que já era gramaticalmente correto. Esse "warm start" (início quente) deu ao processo de amostragem uma vantagem inicial, garantindo que o computador já estivesse trabalhando com uma frase sensata antes de iniciar sua otimização detalhada. Os pesquisadores testaram essa abordagem em um grande conjunto de dados de perguntas e respostas de domínio aberto, comparando seu método com as técnicas padrão que produzem os pseudoprompts sem sentido.

Os resultados mostraram uma vantagem clara e distinta para o novo método deles. Enquanto as técnicas de otimização tradicionais produziam prompts que eram ou altamente confiantes na resposta, mas completamente ilegíveis, ou fluentes, mas ineficazes, a nova abordagem de amostragem alcançou um equilíbrio genuíno. Os prompts gerados pelo algoritmo dos pesquisadores eram quase tão eficazes em obter a resposta correta quanto os melhores prompts gerados por máquinas, mas permaneciam totalmente compreensíveis para um humano. Quando os pesquisadores avaliaram a qualidade das perguntas, seu método superou consistentemente os outros em termos de gramática e plausibilidade. Os métodos tradicionais frequentemente produziam sequências de texto que pareciam uma mistura de diferentes idiomas e símbolos de formatação, enquanto o novo método produzia frases que preservavam a estrutura e a lógica das perguntas humanas originais.

O estudo também destacou que a escolha de como iniciar a busca importa significativamente. Quando os pesquisadores aplicaram sua técnica de "warm start" aos métodos antigos e padrão, esses métodos melhoraram em termos de fluência, mas ainda assim não conseguiram igualar o equilíbrio alcançado pela nova abordagem de amostragem. Os métodos antigos tendiam ou a otimizar demais para a resposta, sacrificando a legibilidade, ou a falhar em encontrar a resposta. O novo método, por outro contraste, encontrou consistentemente prompts que se situavam no ponto ideal entre ser uma boa pergunta para um humano e uma instrução perfeita para uma máquina. Isso sugere que o problema não era apenas a falta de poder computacional ou de melhores algoritmos, mas um entendimento fundamental equivocado de como estruturar a busca por prompts.

Ao demonstrar que prompts eficazes não precisam ser ininteligíveis, este trabalho oferece um caminho para uma inteligência artificial mais transparente e confiável. Mostra que a linguagem estranha e alienígena dos prompts mais eficientes não é uma característica necessária desses modelos, mas sim um efeito colateral de como temos pedido a eles para aprender. A abordagem dos pesquisadores prova que é possível projetar instruções que sejam simultaneamente estatisticamente ótimas para a máquina e perfeitamente claras para o humano. Isso abre as portas para um futuro onde podemos interagir com essas poderosas ferramentas usando linguagem natural, confiantes de que as instruções que damos são compreendidas pela máquina e compreensíveis para nós. O trabalho não afirma ter resolvido todos os problemas da inteligência artificial, mas fornece um método concreto e testado para tornar a interação entre humano e máquina mais coerente e confiável.