Resumo Técnico: Imaging-101

Definição do Problema

A imagem computacional, o processo de recuperar sinais ocultos a partir de medições indiretas, ruidosas e incompletas, é fundamental para a descoberta quantitativa em diversas disciplinas científicas, que vão da astronomia à medicina. No entanto, construir um pipeline de reconstrução correto é laborioso, exigindo profundo conhecimento de domínio para lidar com limpeza de dados, modelagem de física direta, seleção de algoritmos e depuração iterativa. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em codificação geral e em partes do fluxo de trabalho científico, permanece uma questão em aberto se os modelos de fronteira podem resolver de forma confiável tarefas de imagem computacional de ponta a ponta. Essas tarefas exigem o raciocínio conjunto de processos de medição física, formulações matemáticas e solvers numéricos, traduzindo-os em código executável que passe por verificação numérica rigorosa. Os benchmarks existentes frequentemente falham em expor os modos de falha específicos inerentes aos problemas inversos científicos, como erros sutis de convenção física ou seleção inapropriada de solvers.

Metodologia

Para abordar essa lacuna, os autores introduzem o Imaging-101, um benchmark composto por 57 tarefas de imagem computacional verificadas por especialistas, abrangendo seis domínios científicos: astronomia, biologia, química e ciência dos materiais, geociências, medicina e física.

Construção do Benchmark

O benchmark é construído via um pipeline com especialista no loop projetado para garantir autenticidade científica e reprodutibilidade:

1. Fundamentação de Origem: Cada tarefa é derivada de um artigo revisado por pares e sua implementação de referência de código aberto.
2. Padronização: As tarefas são canonicalizadas em um pipeline padronizado de quatro estágios:
   • Pré-processamento: Converter medições brutas em uma forma compatível com o modelo direto.
   • Modelagem de Física Direta: Implementar o operador direto $A$ (e frequentemente seu adjunto $A^*$).
   • Solver Inverso: Escolher e executar um algoritmo de inversão para recuperar a quantidade latente.
   • Visualização: Renderizar o sinal reconstruído.
3. Verificação: Especialistas de domínio (nível de doutorado) validam a reprodução das execuções de referência contra as publicações originais. O pipeline utiliza assistência de IA (Claude Code) para refatoração e síntese de testes unitários, mas os especialistas retêm a autoridade final sobre a correção.
4. Métricas de Avaliação: As tarefas são avaliadas usando tolerâncias numéricas calibradas. O sucesso de ponta a ponta é medido por Correlação Cruzada Normalizada (NCC) e Erro Quadrático Médio Raiz Normalizado (NRMSE), que são robustos à escala de amplitude global, ao contrário de PSIM ou SSIM.

Trilhas de Avaliação

O Imaging-101 emprega três trilhas de avaliação complementares para investigar distintas capacidades de agentes:

1. Planejamento: Os agentes geram um plano estruturado (descrição do algoritmo e design de módulos) com base na definição do problema. A correção é julgada por especialistas de domínio contra planos de referência.
2. Nível de Função: Os agentes implementam funções específicas dentro do pipeline. A correção é determinada pela passagem em uma suíte de testes unitários pytest com tolerâncias numéricas estritas (determinístico vs. estocástico).
3. Ponta a Ponta (End-to-End): Os agentes geram o código completo do pipeline, o executam e produzem uma reconstrução. O sucesso é definido pelo cumprimento de limiares de qualidade de imagem (NCC/NRMSE) em relação à referência.

Principais Contribuições

• Benchmark Imaging-101: Uma coleção de 57 tarefas fundamentadas em literatura revisada por pares, suportando avaliação de planejamento, nível de função e ponta a ponta através de seis domínios científicos.
• Pipeline de Construção Supervisionado por Especialistas: Uma metodologia que canonicaliza artigos de pesquisa em um layout padronizado de quatro estágios, permitindo tarefas de benchmark escaláveis, reprodutíveis e verificáveis por execução.
• Caracterização Empírica de Modos de Falha: O trabalho fornece evidências de lacunas de capacidade específicas nos LLMs atuais quando aplicados à imagem computacional científica, distinguindo-as de erros encontrados em benchmarks de codificação geral.

Resultados

Os autores avaliaram sete LLMs de fronteira (incluindo Claude-4.6-Opus, GPT-5.4 e DeepSeek-V3) nas 57 tarefas.

Desempenho Quantitativo

• Planejamento: GPT-5.4 e Kimi-k2.5 alcançaram as maiores taxas de aprovação geral (~52,6%), seguidos de perto pelo Claude-4.6-Opus (50,9%). O pré-processamento foi a dimensão de planejamento mais difícil (taxa média de aprovação de 67,9%), enquanto a seleção do solver inverso foi a mais fácil (88,5%).
• Nível de Função: O desempenho caiu significamente no estágio de implementação. A taxa de aprovação de módulo geral (que exige que todas as funções de um módulo passem) variou de 1,8% a 22,8% entre os modelos. Os solvers inversos foram os mais difíceis de implementar corretamente (taxa média de aprovação de módulo de 30,6%).
• Ponta a Ponta: O modelo de melhor desempenho, Claude-4.6-Opus, alcançou uma taxa de sucesso de 29,8%. O GPT-5.4 seguiu com 19,3%. Um agente de caixa-preta (Claude Code) alcançou 56,1%, sugerindo que recursos de execução mais ricos (ex: instalação de pacotes irrestrita, feedback de shell) melhoram significamente o desempenho.

Análise de Modos de Falha

A avaliação revelou modos de falha sistemáticos distintos de erros de codificação geral:

1. Falhas de Raciocínio Científico: Os erros dominantes não foram erros de sintaxe superficiais, mas falhas de raciocínio científico.
   • Desalinhamento Medição-Física: Os agentes frequentemente omitiram etapas críticas de pré-processamento, como converter a intensidade do sensor ($1/r^4$) para a amplitude do campo de onda ($1/r$) em imagens de linha de visão não direta (non-line-of-sight).
   • Seleção de Solver Inapropriada: Os modelos frequentemente substituíram solvers especializados e acoplados à física (ex: qNewton-PIE para ptychografia de Fourier) por otimizadores genéricos (ex: Adam), citando heurísticas gerais que ignoravam a estrutura específica do problema inverso.
2. Deriva de Convenção Numérica: O erro de código mais comum (42,1% das falhas) envolveu o uso de sinais, escalas, ordenação de eixos ou convenções de normalização incorretos (ex: omitir a normalização de bobina MVUE em MRI). Esses erros produziram códigos estruturalmente válidos que passavam em verificações visuais, mas falhavam em testes de paridade numérica rigorosos.
3. Não Conclusão do Agente: 28,2% das falhas ocorreram porque os agentes esgotaram seus orçamentos de reflexão sem produzir código, frequentemente ao lidar com bibliotecas especializadas (ex: ehtim, deepwave), indicando um gargalo na familiarização de API em vez de raciocínio matemático.

Significância

O artigo argumenta que, embora os LLMs mostrem promessa em fluxos de trabalho científicos, eles atualmente carecem da confiabilidade necessária para a imagem computacional autônoma. Os achados destacam que a "matéria escura" desses pipelines — o conhecimento de domínio tácito sobre convenções de unidades, fatores de normalização e acoplamento modelo-medição — não é explicitamente capturado em especificações escritas e é sistematicamente perdido pelos modelos atuais.

Os autores concluem que preencher essa lacuna requer ir além de agentes de codificação geral em direção a agentes especializados em domínio e aumentados por habilidades. Eles propõem que codificar o conhecimento tácito em módulos reutilizáveis e verificados (bibliotecas de habilidades) é um caminho prático para a assistência científica confiável. O Imaging-101 serve como um benchmark fundamental para acompanhar o progresso nessa direção, enfatizando que a verdadeira confiabilidade na computação científica exige mais do que apenas geração de código; exige a adesão fiel às leis físicas e à precisão numérica.