Test-Time Adaptation via Many-Shot Prompting: Benefits, Limits, and Pitfalls
Este estudo empírico analisa os benefícios, limites e armadilhas da adaptação em tempo de teste via prompting de muitos exemplos, revelando que essa estratégia é eficaz para tarefas estruturadas com alto ganho de informação, mas frequentemente mostra benefícios limitados ou sensibilidade excessiva à estratégia de seleção em tarefas de geração aberta, especialmente em modelos de código aberto.