Beyond Elicitation: Provision-based Prompt Optimization for Knowledge-Intensive Tasks

1. O Problema

O artigo identifica uma limitação fundamental nas abordagens atuais de otimização de prompt para Grandes Modelos de Linguagem (LLMs). A maioria dos métodos existentes opera sob um paradigma de "elaboração" (elicitation-based), que assume que prompts otimizados podem desbloquear capacidades latentes ou conhecimento pré-treinado que já existe dentro dos parâmetros do modelo, apenas através de reformulações estratégicas de instruções ou exemplos.

No entanto, em tarefas intensas em conhecimento (domínios especializados como medicina, direito, finanças e terminologia técnica), essa premissa falha. O modelo pode simplesmente não possuir o conhecimento factual necessário em sua base paramétrica.

• Pobreza de Conhecimento: Métodos de elaboração tendem a focar em reformulações superficiais, não integrando informações factuais ou terminologia específica do domínio.
• Ineficácia da Otimização: Mesmo quando os prompts melhoram a precisão em conjuntos de validação, eles frequentemente falham em resolver lacunas de conhecimento subjacentes, levando a erros persistentes em casos de teste reais.
• Ineficiência de Tokens: A acumulação iterativa de conhecimento sem critérios de poda pode levar a prompts excessivamente longos, aumentando o custo de inferência.

2. Metodologia: KPPO (Knowledge-Provision-based Prompt Optimization)

Os autores propõem o KPPO, uma estrutura que reformula a otimização de prompt não como a busca por uma instrução perfeita para "eliciar" conhecimento inexistente, mas como um processo sistemático de fornecimento e integração de conhecimento externo diretamente no prompt.

O framework opera através de três inovações principais:

A. Preenchimento de Lacunas de Conhecimento (Knowledge Gap Filling)

• Análise de Falhas: O sistema utiliza um LLM otimizador para analisar casos de erro (falhas) do prompt atual.
• Identificação de Lacunas: O otimizador gera "gradientes" textuais que explicam por que a falha ocorreu e identificam especificamente quais fatos, terminologias ou padrões de raciocínio do domínio estão faltando.
• Integração Estruturada: Em vez de apenas adicionar texto solto, o KPPO organiza as informações inseridas em uma hierarquia estruturada (um grafo acíclico direcionado), dividindo o conhecimento em "tópicos" e "notas" (fatos atômicos).

B. Avaliação de Candidatos por Lotes com Duplo Objetivo (Batch-Wise Dual-Objective Evaluation)

Para evitar a instabilidade e o custo computacional de validar em todo o conjunto de dados a cada iteração, o KPPO utiliza uma avaliação baseada em lotes recentes:

• Objetivo 1 (Ganho de Desempenho): Mede a melhoria na precisão nos casos de falha recentes.
• Objetivo 2 (Estabilidade Distribucional): Inspirado em métodos de região de confiança (trust region), o sistema penaliza mudanças drásticas na distribuição de saída que não correspondem a ganhos reais de conhecimento, evitando overfitting a padrões espúrios.
• Seleção: Os candidatos são classificados por um critério lexicográfico que prioriza o ganho de desempenho mantendo a estabilidade.

C. Poda Adaptativa de Conhecimento (Adaptive Knowledge Pruning)

À medida que o conhecimento se acumula, o prompt pode ficar muito longo. O KPPO introduz um mecanismo de poda baseado em restrições estruturais:

• Restrição de Grau Local: Limita o número de filhos diretos de um nó de tópico para controlar a densidade de informação.
• Restrição de Equilíbrio Global: Detecta desequilíbrios na estrutura hierárquica (ex: um tópico muito amplo com poucos detalhes) e instrui o LLM a reorganizar ou remover redundâncias.
• Resultado: Reduz o uso de tokens mantendo apenas as informações essenciais para o domínio.

3. Principais Contribuições

1. Mudança de Paradigma: Propõe a transição de "elaboração" (tentar extrair o que não existe) para "fornecimento" (integrar ativamente conhecimento externo) como a abordagem correta para tarefas intensas em conhecimento.
2. Framework KPPO: Uma arquitetura completa que inclui detecção de lacunas, geração de candidatos estruturados, avaliação robusta por lotes e poda adaptativa.
3. Validação Empírica: Demonstra que a otimização baseada em fornecimento supera significativamente métodos baseados em elocução e abordagens de recuperação aumentada (RAG) em cenários onde a documentação externa é escassa ou complexa.

4. Resultados Experimentais

O KPPO foi avaliado em 15 benchmarks intensivos em conhecimento (incluindo domínios médicos, jurídicos e financeiros) usando modelos como Llama 3.1 e Qwen 2.5.

• Desempenho: O KPPO alcançou uma melhoria média de ~6% em relação às melhores linhas de base baseadas em elocução (como OPRO, APO e PromptAgent). Em tarefas médicas específicas (MedConceptsQA), onde o conhecimento paramétrico é inexistente, a melhoria foi de mais de 20% (ex: de 28,3% para 51,7% no Llama 3.1).
• Eficiência de Tokens: A variante com poda reduziu o consumo de tokens de inferência em até 29% (21,7% no Llama 3.1 e 29,0% no Qwen 2.5) sem sacrificar significativamente a precisão, demonstrando um equilíbrio eficaz entre conhecimento e custo.
• Comparação com RAG: O KPPO superou métodos de RAG (Recuperação Aumentada por Recuperação) e ferramentas de busca na web, provando que sintetizar regras do domínio diretamente no prompt é mais eficaz do que apenas recuperar documentos soltos durante a inferência.
• Análise de Conhecimento: Os prompts otimizados pelo KPPO contêm 26x mais pontos de conhecimento de domínio do que os prompts gerados por métodos de elocução, com uma taxa de fidelidade de 92,5%.

5. Significado e Impacto

Este trabalho é significativo porque:

• Resolve o "Vazio de Conhecimento": Oferece uma solução viável para implantar LLMs em domínios especializados onde o fine-tuning é computacionalmente proibitivo ou limitado por falta de dados rotulados.
• Eficiência Operacional: Ao integrar o conhecimento no prompt de forma estruturada e podada, elimina a necessidade de chamadas de API externas (como busca na web) durante a inferência, reduzindo drasticamente a latência (de ~36s para ~3,8s por consulta em comparação com métodos baseados em busca).
• Novo Direcionamento: Estabelece que a otimização de prompt para tarefas complexas não deve focar apenas em "como perguntar", mas em "o que ensinar" ao modelo no momento da inferência, transformando o prompt em uma base de conhecimento dinâmica e adaptativa.

Em resumo, o KPPO demonstra que, para tarefas que exigem expertise especializada, a chave não é refinar a linguagem para extrair conhecimento oculto, mas sim fornecer explicitamente o conhecimento faltante de forma estruturada e eficiente.