Resumo Técnico: MIND THE ALIGNMENT GAP (ATENÇÃO AO GAP DE ALINHAMENTO)

Declaração do Problema

Agentes de codificação científica são difíceis de avaliar por meio de benchmarks porque tarefas de pesquisa frequentemente exigem código executável, mas produzem resultados que são ambíguos ou difíceis de verificar. Enquanto os benchmarks existentes (ex: HumanEval, SWE-bench) dependem de verificação automatizada clara via testes unitários ou suítes de regressão, os fluxos de trabalho científicos reais são iterativos, abertos e muitas vezes carecem de uma verdade fundamental (ground truth) precisa. Além disso, a construção de benchmarks para essas tarefas é intensiva em recursos. Os autores argumentam que as estruturas de avaliação atuais frequentemente priorizam o "hill-climbing" (melhoria de pontuações em métricas estáticas) em detrimento de um fluxo de trabalho centrado no usuário, onde cientistas inspecionam os rastros (traces) dos agentes para avaliar a solidez científica da abordagem. Especificamente, há uma lacuna na compreensão de como fornecer aos agentes contexto científico especializado (nomes de pacotes, ambientes) afeta sua capacidade de resolver problemas complexos de domínio específico, como o alinhamento de transcriptômica espacial.

Metodologia

Os autores introduzem uma estrutura interativa para construir benchmarks de agentes científicos a partir de artigos revisados por pares e diagnosticar o comportamento do agente através da inspeção de rastros.

Construção do Benchmark:

• Fonte: O estudo reaproveita o SABench, um benchmark recente para métodos de alinhamento de transcriptômica espacial, convertendo 40 de suas 295 tarefas em tarefas de avaliação executáveis e ocultas para agentes de codificação.
• Definição da Tarefa: Os agentes recebem fatias de tecido bidimensionais com coordenadas espaciais observadas e perfis de expressão gênica. O objetivo é submeter uma tabela de coordenadas que alinhe essas fatias.
• Avaliação: Um pontuador oculto avalia as submissões com base em uma verificação de esquema, concordância de expressão, consistência de rótulos/marcos (landmarks) e, onde disponível, erro de alinhamento contra coordenadas padrão ouro ocultas. As métricas são padronizadas em uma escala de 0 a 1 (quanto maior, melhor).

Condições Experimentais:
Os autores avaliaram uma única configuração de modelo (Codex CLI com gpt-5.3-codex e esforço de raciocínio xhigh) através de três condições de execução distintas para testar o impacto da riqueza do prompt e do suporte ao ambiente:

1. Básica (Basic): O agente recebe apenas o prompt da tarefa, sem contexto de método/artigo e sem ambientes pré-inicializados (pre-bootstrapped).
2. Consciente de Pacotes (Package-aware - PA): O prompt inclui nomes de métodos de artigos e sugestões de pacotes. O agente deve instalar e sondar os pacotes por conta própria.
3. Completa + Prior (Full + prior - FPP): O agente recebe ambientes virtuais pré-inicializados com pacotes instalados e prioridades de alto nível de métodos (resumindo métodos favorecidos para famílias de tarefas relacionadas) no prompt.

Análise:
O estudo envolveu 120 execuções (3 réplicas independentes por condição por tarefa). A avaliação incluiu:

• Pontuação Agregada: Comparação das médias de pontuação composta entre as condições.
• Inspeção de Rastro (Trace Inspection): Uso de uma chamada de LLM independente para extrair estágios de falha, mensagens de erro e sinais de uso de pacotes a partir dos logs de execução.
• Baselines Geométricos: Síntese de heurísticas geométricas simples (centro/escala, similaridade de PCA, trimmed ICP) derivadas das submissões dos agentes para determinar se os agentes estavam superando a geometria básica.

Principais Resultados

1. O aumento de contexto não melhorou o desempenho
Ao contrário da hipótese de que um contexto mais rico melhoraria o desempenho, a condição Básica alcançou a maior pontuação composta média (0,43), seguida de perto pela PA (0,42). A condição FPP, apesar de possuir os sinais mais fortes de uso de pacotes, alcançou a menor pontuação (0,36).

• Significância Estatística: A FPP teve um desempenho inferior à Básica em −0,067 (95% CI [−0,11, −0,03]) e à PA em −0,059.
• Uso de Pacotes: Agentes FPP utilizaram pacotes especializados (ex: PASTE2, Spateo) em 43–72% das execuções, enquanto agentes Básicos raramente os utilizaram (<20%). Apesar dessa mudança de comportamento, a precisão agregada declinou.

2. Análise de Modos de Falha
A inspeção de rastro revelou por que o aumento do uso de pacotes levou a pontuações menores:

• Estratégias Customizadas Competitivas: Sob a condição Básica, os agentes frequentemente escreveram código Python customizado usando ideias geométricas simples (ex: rotação de Procrustes) que igualavam ou superavam soluções baseadas em pacotes.
• Variância e Fragilidade: Invocar pacotes especializados exigia ajuste de parâmetros e gerenciamento de dependências. Escolhas mal calibradas levaram a transformações piores do que alternativas geométricas simples.
• Falhas de Infraestrutura: Execuções FPP sofreram com loops de pacotes mais longos, falhas de ambiente e submissões "guiadas por prioridade", onde os agentes aceitavam resultados subótimos após falhas de chamadas de pacotes em vez de retornar a abordagens mais simples.
• Degradação de Bons Inputs: Em vários casos (ex: SA-004, SA-014), as coordenadas de entrada já estavam parcialmente alinhadas. Agentes FPP degradaram ativamente esses inputs aplicando transformações mal calibradas, resultando em pontuações menores do que a baseline "Identidade" (submeter a entrada inalterada).

3. Heurísticas Geométricas vs. Ferramentas Especializadas
Baselines geométricas sintetizados (centro/escala, similaridade de PCA, trimmed ICP) alcançaram pontuações comparáveis ou superiores à condição FPP. O probe geométrico mais forte (trimmed ICP) averageu 0,41, quase igualando a PA (0,41) e excedendo a FPP (0,36). Isso sugere que os agentes na condição Básica estavam utilizando efetivamente heurísticas simples e robustas que os pacotes especializados não conseguiram replicar de forma confiável neste contexto.

4. Variabilidade Específica da Tarefa
Nenhuma família de pacotes foi uma vencedora universal. Geometria customizada rígida/afim performou melhor em algumas famílias de alinhamento serial, enquanto pacotes como Spateo ou PASTE excelaram em outras. O benchmark recompensou a seleção de método local em vez de simplesmente aumentar a disponibilidade de pacotes.

Significância e Alegações

O artigo alega que agentes de codificação científica são difíceis de direcionar para ferramentas especializadas eficazes apenas através de prompting e provisionamento de ambiente.

• O "Gap de Alinhamento": Existe uma desconexão entre a capacidade de um agente de usar ferramentas especializadas e sua capacidade de usá-las efetivamente. Adicionar scaffolding (dicas de pacotes, ambientes pré-instalados) frequentemente induz transformações desnecessárias, fluxos de trabalho frágeis e falhas de infraestrutura que reduzem o desempenho geral.
• Filosofia de Avaliação: Os autores argumentam que os benchmarks de agentes científicos devem avaliar os rastros (traces) e fluxos de trabalho dos agentes além dos outputs finais. A "caixa preta" das pontuações finais esconde o fato de que os agentes podem estar recorrendo a heurísticas surpreendentemente performantes ou falhando devido à integração frágil de pacotes.
• Utilidade do Benchmark: O estudo demonstra que artigos de benchmark podem ser reaproveitados como fontes de tarefas executáveis e pontuáveis para agentes de IA, fornecendo um caso de estudo concreto para avaliar a solidez de métodos em genômica computacional.
• Escopo Modesto: Os autores declaram explicitamente que não pretendem afirmar que o alinhamento espacial esgota a avaliação de agentes científicos. Em vez disso, veem isso como um estudo de caso ilustrando como o ferramental especializado pode alterar o comportamento do agente, necessitando de trabalhos futuros para avaliar a generalização através de outros domínios e famílias de modelos.

Em conclusão, o artigo defende uma mudança do "hill-climbing" em métricas agregadas para um fluxo de trabalho centrado no usuário, onde cientistas inspecionam os rastros dos agentes para entender como as soluções são derivadas, garantindo que a solidez científica da abordagem não seja comprometida pela complexidade das ferramentas empregadas.