CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants

Este artigo apresenta o CelloAI, um conjunto de benchmarks práticos e repetíveis projetados para avaliar de forma justa e padronizada o desempenho de assistentes de IA em tarefas específicas de desenvolvimento de software para Física de Altas Energias e Computação de Alto Desempenho, abrangendo geração de documentação, criação de kernels GPU e análise de dados gráficos.

O essencial

Imagine que você tem um super-robô (uma Inteligência Artificial) que sabe escrever código de computador. Ele é ótimo para criar sites simples ou aplicativos de celular. Mas, e se você pedir para ele trabalhar em um projeto gigante e super complexo, como o do CERN (onde descobrem partículas como o bóson de Higgs) ou em supercomputadores que simulam o clima?

Aqui é que a coisa complica. Um erro nesse tipo de código não é apenas um "bug" que deixa um botão parado; pode ser como mudar uma peça num foguete e fazer a missão falhar, ou calcular mal a energia de uma explosão nuclear.

Este artigo, chamado "CelloAI Benchmarks", é como se fosse um exame de habilitação rigoroso para esses robôs, feito especificamente para ver se eles conseguem trabalhar nesse ambiente de "alta perigo" da ciência.

Aqui está a explicação, dividida em três partes principais, usando analogias do dia a dia:

1. O Problema: O "Manual de Instruções" Perdido

Os cientistas têm bibliotecas de código gigantescas, escritas ao longo de décadas por milhares de pessoas. É como uma cidade antiga onde ninguém sabe quem construiu qual prédio, e os manuais estão escritos em um idioma que ninguém mais fala.

• O Desafio: Se o robô tentar escrever um código novo sem entender o contexto, ele pode quebrar tudo.
• A Solução CelloAI: Eles criaram um assistente (CelloAI) que não apenas "adivinha" o código, mas primeiro lê o manual, entende quem é o "chefe" de cada função e como as peças se conectam antes de escrever qualquer coisa.

2. Os Três "Provas" do Exame (Os Benchmarks)

Para ver se o robô é bom de verdade, eles criaram três tipos de testes, como se fossem provas de uma escola de engenharia:

A. A Prova do "Tradutor de Manuais" (Documentação)

Imagine que você tem um motor de carro muito complexo, mas ninguém escreveu o manual. O robô precisa olhar para as peças e escrever um manual claro (como o Doxygen, que é um tipo de nota técnica).

• O Teste: O robô precisa listar todas as peças (parâmetros) e explicar o que elas fazem.
• O Resultado: Os robôs mais novos são ótimos em não esquecer nenhuma peça (cobertura de 100%), mas às vezes a explicação do que a peça faz é um pouco genérica, como se dissessem "esta peça gira" em vez de "esta peça controla a pressão do óleo". Eles precisam aprender a falar a "língua dos cientistas".

B. A Prova do "Tradutor de Idiomas" (Geração de Código)

Agora, imagine que você tem um motor feito para funcionar com gasolina (um tipo de processador de computador) e precisa transformá-lo para funcionar com eletricidade (outro tipo de processador, como as placas gráficas/GPU), sem perder potência.

• O Teste: Eles pegaram três tarefas de um simulador de física.
  1. Tarefa Fácil: Limpar a memória (como varrer o chão).
  2. Tarefa Média: Contar coisas (como contar moedas).
  3. Tarefa Difícil: Simular uma chuva de partículas (o "coração" do motor).
• O Resultado: Os robôs conseguem fazer a tarefa fácil e média quase perfeitamente. Mas na tarefa difícil, eles tropeçam. É como se o robô soubesse trocar o pneu do carro, mas não soubesse como ajustar o motor para que o carro não exploda. Isso mostra que, para a ciência, apenas "funcionar" não basta; tem que funcionar com precisão absoluta.

C. A Prova do "Detetive de Gráficos" (Análise Visual)

Cientistas olham para milhares de gráficos (histogramas) para ver se algo mudou no experimento. É como olhar para a fumaça de uma chaminé e dizer se o fogo está queimando madeira ou plástico.

• O Teste: Eles mostram dois gráficos para o robô (um "padrão" e um "monitorado") e perguntam: "Onde eles são diferentes e por que isso importa?".
• O Resultado: Alguns robôs com "olhos" (visão computacional) conseguem apontar onde os gráficos divergem, mas ainda têm dificuldade em entender o motivo científico por trás da diferença. É como ver que a fumaça mudou de cor, mas não saber dizer se é perigoso ou não.

3. A Conclusão: Por que isso importa?

O artigo diz que, até agora, testamos esses robôs em tarefas fáceis (como consertar um site de e-commerce). Mas a ciência precisa de algo mais.

• A Grande Lição: Não basta o robô escrever código que "compila" (que não dá erro de sintaxe). Ele precisa escrever código que respeita as leis da física e se encaixa em sistemas gigantescos.
• O Futuro: Eles criaram um "campo de treinamento" (os benchmarks) para que, no futuro, possamos comparar qual robô é o melhor para a ciência, de forma justa e repetível.

Resumo em uma frase:
Este trabalho é como criar um exame de pilotagem para aviões a jato para os robôs de IA, em vez de apenas testá-los em bicicletas, garantindo que eles estejam prontos para voar em missões científicas complexas sem causar acidentes.

Resumo técnico

Resumo Técnico: CelloAI Benchmarks

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais adotados para assistência no desenvolvimento de software. No entanto, os benchmarks existentes para codificação (como SWE-bench ou LiveCodeBench) focam em tarefas gerais ou correções baseadas em testes unitários isolados. Eles falham em capturar as restrições críticas do domínio de Física de Altas Energias (HEP) e Computação de Alto Desempenho (HPC).

Nesses ambientes, a correção do código não depende apenas da sintaxe, mas de:

• Restrições Científicas: O código deve respeitar a intenção física e a estabilidade numérica.
• Integração Complexa: As mudanças devem se integrar a bases de código massivas, com dependências complexas e sistemas de construção rigorosos.
• Contexto Heterogêneo: Erros em portabilidade (ex: CPU para GPU), movimentação de dados ou tratamento de dependências podem invalidar resultados científicos silenciosamente.
• Falta de Avaliação Repetível: Impressões qualitativas não são suficientes para comparar modelos em grandes repositórios científicos.

2. Metodologia e Abordagem

O artigo apresenta o CelloAI, um assistente de codificação hospedado localmente e baseado em Retrieval-Augmented Generation (RAG), projetado especificamente para fluxos de trabalho científicos. O sistema utiliza três mecanismos principais:

1. RAG Científico: Recupera contexto tanto de texto científico quanto de código fonte.
2. Fragmentação Consciente de Sintaxe: Preserva limites semânticos para evitar recuperação fragmentada.
3. Melhoria de Prompt Consciente de Grafos de Chamada: Fornece contexto de dependência (chamador/chamado) para garantir que as respostas respeitem o fluxo de execução real.

Para avaliar o desempenho do CelloAI e de outros LLMs, os autores desenvolveram uma suíte de benchmarks padronizados e automatizados, dividida em três trilhas de avaliação:

• Trilha 1: Documentação de Código (CelloAI-Doc-Bench)

  • Objetivo: Avaliar a geração de comentários estruturados no estilo Doxygen.
  • Métricas:
    • Score de Cobertura (Tag-based): F1-score calculado em nível de tags (@param, @return) para medir completude e precisão estrutural.
    • Similaridade Semântica:
      • Diferencial: Consistência semântica entre descrições de parâmetros em pares de funções chamador/chamado.
      • Especialista: Similaridade coseno entre os comentários gerados pelo LLM e documentação escrita por especialistas humanos.
  • Dados: Baseado no pacote ATLAS Athena (simulação de Calorímetro).

• Trilha 2: Geração e Portabilidade de Código (CelloAI-Code-Bench)

  • Objetivo: Avaliar a capacidade de portar kernels GPU (CUDA) para ambientes portáveis (OpenMP/SYCL) mantendo a correção científica.
  • Cenário: Três kernels do FastCaloSim (simulação de Calorímetro de Argônio Líquido):
    1. Reset: Limpeza de arrays (mais fácil).
    2. Count: Identificação de células e operações atômicas (moderado).
    3. Simulate: Cálculos pesados com atualizações de memória e transferências (mais difícil).
  • Avaliação: Pipeline automatizado que tenta compilar, executar e validar o código gerado. O sucesso é definido pela passagem em testes de integração, não apenas por testes unitários isolados.

• Trilha 3: Análise de Dados Gráficos Multimodal (CelloAI-Multimodal-Bench)

  • Objetivo: Avaliar LLMs com visão computacional na análise de histogramas típicos de HEP.
  • Tarefa: Detectar discrepâncias entre curvas de "referência" e "monitoradas" e identificar pontos de outlier.
  • Métricas: Precisão, Recall e F1 para detecção de outliers e identificação de regiões de discrepância.

3. Resultados Principais

• Documentação (CelloAI-Doc-Bench):

  • Modelos modernos (ex: GPT-oss-120b, Qwen3) alcançam alta cobertura de tags (Recall ≈ 1.0 e F1 > 0.95), indicando que conseguem gerar a estrutura correta.
  • No entanto, a similaridade semântica com especialistas permanece limitada (F1 ~0.60 para os melhores modelos), sugerindo que a qualidade descritiva e a aderência à intenção científica ainda precisam de melhorias (possivelmente via fine-tuning de domínio).
  • O uso do contexto CelloAI trouxe melhorias marginais nas métricas de similaridade, mas melhorou a consistência geral.

• Geração de Código (CelloAI-Code-Bench):

  • Existe uma grande disparidade de dificuldade entre os kernels.
  • Kernel 1 (Reset): Modelos com CelloAI alcançaram até 10/10 sucessos.
  • Kernel 2 (Count): Desempenho moderado, melhorando com o contexto CelloAI.
  • Kernel 3 (Simulate): Extremamente difícil. Mesmo os melhores modelos (GPT-oss-120b) alcançaram apenas 2/10 sucessos. Isso demonstra que a portabilidade de kernels complexos com dependências científicas é um desafio não resolvido para LLMs atuais.
  • A validação de ponta a ponta (compilação + execução) revelou falhas que testes unitários isolados não capturariam.

• Análise Gráfica (CelloAI-Multimodal-Bench):

  • Os resultados foram moderados. O modelo InternVL 3.5 performou melhor na detecção de outliers (F1 ≈ 0.57), enquanto o Qwen3-VL manteve-se estável em 0.5.
  • O Gemma-3n falhou em recuperar qualquer outlier do conjunto de dados de verdade.
  • A identificação de regiões de discrepância mostrou-se desafiadora para todos os modelos, indicando a necessidade de modelos multimodais mais capazes ou adaptados ao domínio.

4. Contribuições Chave

1. Framework de Benchmarking Repetível: Introdução de uma metodologia padronizada para avaliar assistentes de IA em contextos HEP/HPC, focando em resultados de ponta a ponta em vez de snippets isolados.
2. Três Trilhas de Avaliação Específicas: Desenvolvimento de benchmarks para documentação estruturada, portabilidade de código GPU e análise visual de dados científicos.
3. Métricas Híbridas: Combinação de métricas estruturais (cobertura de tags, compilação) com métricas semânticas (similaridade com especialistas, consistência física).
4. Validação de Falhas: Exposição clara de onde os modelos falham (especialmente em kernels complexos e interpretação semântica profunda), fornecendo um caminho para o desenvolvimento futuro.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da IA na ciência, pois:

• Muda o Paradigma de Avaliação: Move o foco de "o código compila?" para "o código é cientificamente correto e integrado?".
• Facilita a Comparação Justa: Permite comparar diferentes modelos e configurações (temperatura, contexto RAG) sob as mesmas restrições reais de HPC.
• Orienta o Desenvolvimento Futuro: Os resultados indicam que, embora a geração de estrutura seja madura, a compreensão semântica profunda e a portabilidade de código complexo exigem avanços em fine-tuning de domínio e arquiteturas multimodais mais robustas.
• Segurança Científica: Ao enfatizar a repetibilidade e a detecção de modos de falha, o framework ajuda a garantir que assistentes de IA não introduzam erros silenciosos em simulações críticas para a física de partículas.

Em suma, o artigo estabelece as bases para assistentes de codificação que são não apenas inteligentes, mas também confiáveis e conscientes das restrições rigorosas do desenvolvimento de software científico.