Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
Este artigo introduz uma ontologia estruturada para analisar uma grande coleção de 57.500 prompts transacionais únicos do GitHub, transformando-os em objetos linguísticos ricamente estruturados para revelar diversos padrões de uso através de linguagens e domínios, ao mesmo tempo em que valida a qualidade da anotação por meio de uma análise de erro abrangente.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando ensinar um robô superinteligente a realizar um trabalho específico, como escrever um poema ou corrigir um erro em um programa de computador. Você não fornece ao robô um código de programação formal; em vez disso, você escreve para ele um conjunto de instruções em inglês simples. Esse conjunto de instruções é chamado de prompt. Pense em um prompt como um cartão de receita para um chef. Se a receita for vaga ("faça algo saboroso"), o chef pode errar a previsão. Mas se a receita for detalhada ("pique duas cebolas, refogue por cinco minutos, adicione sal"), o chef saberá exatamente o que fazer. Por muito tempo, os cientistas estudaram o "chef" (o modelo de IA) em detalhes, tentando torná-lo mais inteligente. Mas eles não prestaram muita atenção aos "cartões de receita" (os prompts) em si, tratando-os como notas bagunçadas e informais, em vez de algo que valesse a pena ser estudado seriamente. Este artigo argumenta que esses prompts são, na verdade, um novo tipo de "linguagem" que os humanos usam para programar a IA, e que eles merecem ser analisados da mesma forma que qualquer outra linguagem ou código.
Os pesquisadores por trás deste estudo decidiram tratar os prompts como um objeto científico. Eles vasculharam os repositórios de código públicos no GitHub, que é como uma biblioteca gigante onde desenvolvedores de software compartilham seu trabalho. Eles estavam procurando por um tipo específico de prompt chamado prompt transacional. Para entender a diferença, imagine uma conversa casual com um amigo onde você pergunta "Como está o tempo?" e ele responde. Isso é um prompt "interativo". Um prompt transacional é diferente; é como uma instrução pré-escrita colada em uma máquina que roda automaticamente toda vez que um botão é pressionado. Ele é projetado para ser repetido, robusto e parte de um sistema de software maior. A equipe coletou 57.500 desses prompts únicos do mundo real para ver como eles se parecem, como são estruturados e o que as pessoas realmente estão pedindo para a IA fazer.
Para dar sentido a esse enorme monte de texto, os autores construíram um "mapa" especial ou ontologia. Imagine tentar organizar um sótão bagunçado cheio de itens aleatórios. Sem um sistema, é apenas o caos. A ontologia é como um conjunto de caixas e etiquetas que permite classificar os prompts em categorias: Em que língua ele está escrito? Qual é a tarefa? Existe um formato específico exigido? O prompt está dizendo à IA o que não fazer? Ao transformar texto não estruturado nesses pontos de dados ricos e estruturados, eles puderam começar a fazer perguntas sérias.
O que eles descobriram? Primeiro, os dados mostram uma grande variedade, mas seguem um padrão conhecido como distribuição de Zipf. Pense nisso como a população de uma cidade: algumas cidades grandes (como o inglês) têm milhões de habitantes, enquanto milhares de vilas pequenas (outras línguas) têm muito poucos. No mundo dos prompts, o inglês é a cidade gigante, compondo cerca de 84,66% dos prompts. No entanto, ainda existem 62 idiomas diferentes representados e, mesmo nesses prompts em inglês, as pessoas mencionam outros idiomas constantemente (como pedir para a IA "traduzir para o espanhol"), mostrando uma camada oculta de diversidade linguística.
O estudo também revelou que esses prompts são surpreendentemente complexos. Eles não são apenas frases simples. Em média, cada prompt contém cerca de 6,85 "blocos de instrução" distintos. Esses blocos são como os passos de uma receita. Os passos mais comuns são coisas como "aqui está o contexto", "não torne a resposta muito longa" ou "exiba o resultado como um arquivo JSON". Curiosamente, cerca de 31% dos prompts contêm "instruções negativas" — dizendo à IA o que não fazer, como "não alucine" ou "não use texto extra". Isso sugere que os desenvolvedores estão constantemente tentando conter a tendência da IA de ser excessivamente tagarela ou inventar coisas.
Os pesquisadores também observaram como as pessoas estruturam esses prompts. Eles descobriram que a configuração mais comum é uma conversa de duas partes: uma mensagem de "Sistema" (que define as regras, como "Você é um assistente prestativo") e uma mensagem de "Usuário" (que dá a tarefa específica). Este duo "Sistema-Usuário" tornou-se a unidade padrão para prompts transacionais, aparecendo em 64% dos casos. Parece que os desenvolvedores veem o papel do Sistema como uma camada de configuração estática e o papel do Usuário como a entrada dinâmica, em vez de usar a IA para jogos de interpretação de papéis complexos de múltiplos turnos dentro de um único script.
Em termos do que as pessoas estão realmente fazendo, as tarefas de PLN (Processamento de Linguagem Natural, como resumir texto ou responder perguntas) são as mais populares, com as quatro principais tarefas cobrindo quase metade de todos os dados. No entanto, a "cauda longa" dos dados mostra que as pessoas estão usando a IA para todo tipo de coisas estranhas e maravilhosas, desde estratégia de jogos até geração de políticas. Os dados também sugerem que a maioria desses prompts é "ancorada" (grounded), o que significa que dependem de um contexto específico fornecido no prompt (como um documento ou um trecho de código) em vez de apenas a memória interna da IA. Cerca de 89,25% dos casos utilizam esse tipo de ancoragem.
Os autores ressaltam cuidadosamente que suas descobertas vêm de uma fatia específica da internet (projetos públicos do GitHub usando bibliotecas Python específicas), portanto, podem não representar todos os prompts existentes. Eles também usaram IA para ajudar a rotular e analisar os dados, o que significa que há alguns erros, embora tenham verificado a qualidade e constatado que a precisão é bastante alta para a maioria das categorias (frequentemente acima de 90%).
Em última análise, este artigo não fornece apenas uma lista de prompts; ele fornece um conjunto de ferramentas. Os autores lançaram o conjunto de dados e um site especial onde qualquer pessoa pode navegar, pesquisar e explorar esses prompts por meio de suas características. Eles esperam que isso ajude cientistas, engenheiros e linguistas a entender como os humanos estão realmente interagindo com a IA. Ao tratar os prompts como objetos científicos de primeira classe, podemos começar a ver os padrões, as "normas implícitas" e as formas criativas pelas quais as pessoas estão moldando o comportamento dessas máquinas poderosas. É um passo para compreender a nova linguagem que estamos inventando para conversar com nossos parceiros digitais.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.