Resumo Técnico: Previsão de Desempenho de Programas Simbólicos e de Prompt com Exemplos

Declaração do Problema

O uso de prompts em Modelos de Linguagem de Grande Escala (LLMs) é amplamente adotado para tarefas formuladas de forma natural, mas sofre de falta de confiabilidade; um prompt pode passar em alguns casos de teste, mas falhar de forma imprevisível em implantação. Em contraste, programas simbólicos (por exemplo, Python, expressões regulares) são frequentemente considerados confiáveis uma vez que passam em alguns casos de teste representativos. Este artigo investiga a questão fundamental: Por que alguns testes aprovados certificam programas simbólicos, mas não programas de prompt?

Os autores enquadram isso como um problema de previsão de desempenho: dado um programa (seja simbólico ou um prompt executado por um LLM) e um pequeno conjunto de resultados de execução no domínio (sucesso/fracasso), prever seu desempenho verdadeiro ($\theta$) em tarefas não vistas do mesmo domínio. O objetivo é inferir uma distribuição a posteriori sobre a taxa de sucesso do programa para determinar a viabilidade de implantação e os níveis de confiança.

Metodologia

1. Estrutura Teórica: O Modelo de Lançamento de Moeda

Os autores adotam uma abordagem bayesiana, modelando cada execução de programa em um caso de teste como uma variável aleatória de Bernoulli independente (um "lançamento de moeda").

• Observação ($O$): Um conjunto de $a$ sucessos e $b$ fracassos.
• Verossimilhança: $P(O|\theta) \propto \theta^a (1-\theta)^b$.
• Posteriori: $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$.

A ideia central é que, embora a verossimilhança seja facilmente calculada, o prior de desempenho $P(\theta)$ é desconhecido e dita a distribuição posteriori. O artigo argumenta que a diferença na previsibilidade entre programas simbólicos e de prompt decorre inteiramente da forma de seus respectivos priores.

2. Priors de Desempenho Empíricos

Para compreender os priores, os autores compilaram um corpus de 700 programas simbólicos (sp) e 700 programas de prompt (pp) em diversos domínios (por exemplo, Regex, HumanEval, ARC, Regras de Listas). Eles avaliaram cada programa em 100 instâncias amostradas para estimar seu desempenho verdadeiro.

• Programas Simbólicos (sp): Apresentam um prior "tudo ou nada". A distribuição é bimodal aguda, concentrada perto de $\theta=0.0$ (completamente incorreto) e $\theta=1.0$ (perfeito).
• Programas de Prompt (pp): Apresentam um prior difuso. Há massa substancial em valores de desempenho intermediários, representando programas "quase corretos" que podem passar em alguns testes por sorte, mas falhar em outros.

Implicação: Para programas simbólicos, alguns sucessos deslocam rapidamente a massa posteriori em direção a 1.0, fornecendo alta confiança. Para programas de prompt, os mesmos sucessos deslocam apenas ligeiramente o prior difuso, deixando o desempenho verdadeiro incerto.

3. RAP (Prior Aproximado Recuperado)

Para abordar a dificuldade de prever o desempenho de programas de prompt, os autores propõem o RAP, um método baseado em recuperação para construir um prior específico da tarefa.

• Entrada: Um programa de prompt alvo ($p_{target}$), um conjunto de exemplos observados no domínio ($D$) e um corpus de tarefas e prompts ($M$).
• Recuperação:
  1. Tarefas Similares: Recuperar as $n$ principais tarefas do corpus semelhantes aos exemplos observados usando embeddings textuais.
  2. Prompts Similares: Recuperar os $K$ principais programas de prompt do corpus que exibem comportamento semelhante (acordo sobre correção) a $p_{target}$ nas tarefas recuperadas.
• Construção do Prior: O desempenho dos prompts recuperados nas tarefas recuperadas é usado para construir uma mistura de distribuições Beta como prior aproximado.
• Atualização: Os resultados observados ($O$) atualizam essa mistura de priores via conjugação.
• Refinamento: O RAP inclui um Ajuste de Força do Prior por Componente. Ele escala os parâmetros de cada componente Beta com base na Distância do Transportador de Terra (EMD) entre o componente recuperado e o prior derivado exclusivamente de observações no domínio. Isso impede que dados irrelevantes do corpus distorçam a posteriori quando os dados no domínio são escassos.

Principais Contribuições

1. Formalização: O artigo formaliza a previsão de desempenho como inferência bayesiana sob um simples modelo de lançamento de moeda, separando explicitamente a verossimilhança (dados observados) do prior (características do tipo de programa).
2. Descoberta Empírica: Fornece a primeira evidência empírica de que programas simbólicos possuem um prior de desempenho "tudo ou nada", enquanto programas de prompt possuem um prior difuso com massa significativa em desempenho intermediário. Isso explica a lacuna de certificação entre os dois tipos de programa.
3. Solução Algorítmica: A introdução do RAP, um método baseado em recuperação que constrói um prior aproximado específico do domínio a partir de um corpus. O RAP supera as linhas de base que não usam corpus ou que usam todo o corpus de forma ingênua.

Resultados

Os autores avaliaram o RAP em 60 programas de prompt em diversos cenários (no domínio e fora do domínio) usando métricas de Densidade de Probabilidade na Verdade Terrena (SC) e Erro Absoluto (AE).

• Superioridade: O RAP supera consistentemente as linhas de base (sem corpus e todo o corpus) tanto em cenários no domínio quanto fora do domínio.
• Vantagem no Domínio: O uso de exemplos no domínio no corpus melhora significativamente a precisão da previsão, particularmente quando o número de casos de teste observados é pequeno.
• Convergência: À medida que o número de observações no domínio aumenta, o RAP converge graciosamente para a posteriori empírica, garantindo que o termo de verossimilhança acabe dominando o prior.
• Robustez: O método permanece robusto diante de diferentes escolhas de hiperparâmetros, tamanhos de corpus e backbones de LLM.

Significado e Afirmações

O artigo afirma ser o primeiro trabalho a estudar a previsão de desempenho para programas simbólicos e de prompt usando uma estrutura bayesiana unificada. Seu principal significado reside em:

• Quantificação da Intuição: Fornecer uma explicação matemática de por que poucos casos de teste certificam código simbólico, mas não prompts, atribuindo isso às diferenças estruturais em seus priores de desempenho.
• Implantação Prática: Oferecer um método (RAP) para estimar a confiança na implantação de um programa de prompt quando apenas dados de teste limitados estão disponíveis, uma necessidade crítica em configurações não críticas onde um desempenho de 80% é valioso, mas a incerteza deve ser gerenciada.
• Limitações: Os autores observam modestamente que o RAP é uma "primeira linha de ataque". Eles reconhecem que recuperar os $K$ pares mais relevantes torna-se computacionalmente caro à medida que o corpus cresce, sugerindo trabalhos futuros em consultas ativas e aproximações de baixo rank do corpus de tarefas-prompt.