⚛️ high-energy experiments

\textbf{\textsc{HepUKE}}: Uncertainty-aware Knowledge Evolution for High Energy Physics Analysis Agents

Este artigo apresenta o HepUKE, um sistema de evolução de conhecimento consciente da incerteza para agentes de análise de Física de Altas Energias que quantifica a confiança da evidência por meio da entropia da informação para permitir bases de conhecimento de DSL autoevolutivas e reduz significativamente as rodadas de recuperação, mantendo a qualidade das respostas.

Autores originais: Zijie Shang, Ke Li, Junkun Jiao, Shengchun Wang, Changzheng Yuan, Xiongfei Wang, Beijiang Liu, Weimin Song, Xiaoshen Kang

Publicado 2026-10-12

📖 4 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zijie Shang, Ke Li, Junkun Jiao, Shengchun Wang, Changzheng Yuan, Xiongfei Wang, Beijiang Liu, Weimin Song, Xiaoshen Kang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A física de altas energias é a ciência de colidir partículas a velocidades incríveis para ver do que elas são feitas e como se comportam. Para dar sentido aos bilhões de colisões que ocorrem a cada segundo, os cientistas dependem de computadores massivos e softwares complexos para classificar os dados, filtrar o ruído e encontrar os eventos raros que revelam novas leis da natureza. Esse processo exige uma compreensão profunda do equipamento, da matemática e das regras específicas do jogo. Nos últimos anos, pesquisadores começaram a questionar se a inteligência artificial pode ajudar. Eles construíram assistentes digitais que podem ler artigos científicos e escrever o código necessário para analisar dados. No entanto, esses assistentes frequentemente enfrentam dificuldades porque tratam cada informação que encontram como igualmente verdadeira. Se o computador ler um documento que soa semelhante ao que ele precisa, mas que na verdade descreve um experimento diferente ou utiliza um método diferente, o assistente pode copiar as instruções erradas. Isso pode levar a erros graves nos resultados finais, pois, neste campo, um pequeno erro no código pode mudar toda a conclusão física.

Uma equipe de pesquisadores desenvolveu um novo sistema chamado HEPUKE para corrigir esse problema. Em vez de apenas procurar documentos que soem semelhantes à pergunta, este sistema age como um especialista cauteloso que verifica a confiabilidade de cada conselho que recebe. Os pesquisadores perceberam que, na física de altas energias, existem dois tipos de incerteza. O primeiro é a estatística, que vem da aleatoriedade natural de como um computador gera uma resposta. O segundo é a sistemática, que vem das escolhas feitas no próprio método, como quais ferramentas ou configurações específicas foram utilizadas. A maioria dos sistemas de IA atuais ignora o segundo tipo. O HEPUKE combina ambos os tipos de incerteza em uma única medida de confiança. Quando o sistema encontra um exemplo potencial para copiar, ele pergunta: "Se eu usar este exemplo, minha resposta se torna mais certa ou fica confusa?". Se o exemplo introduz confusão ou depende de um método que não se ajusta à tarefa atual, o sistema o rejeita.

O sistema funciona construindo uma biblioteca viva de conhecimento especializado. Ele começa com uma coleção de programas de análise comprovados, escritos por cientistas humanos. Quando uma nova tarefa chega, o sistema busca nesta biblioteca a melhor correspondência. Mas, ao contrário dos sistemas antigos que simplesmente pegavam o primeiro resultado, o HEPUKE testa a correspondência. Ele gera várias soluções possíveis baseadas naquela correspondência e verifica o quão consistentes elas são. Se as soluções variam drasticamente, significa que a correspondência é ruim ou o método é instável, então o sistema descarta a opção. Se as soluções forem consistentes e a incerteza for baixa, o sistema aceita o conselho. Crucialmente, se o sistema resolver com sucesso um novo problema que não estava na biblioteca antes, ele adiciona essa nova solução à biblioteca para uso futuro. Isso permite que o sistema se torne mais inteligente com o tempo, mas apenas ao adicionar soluções que foram rigorosamente verificadas.

Para tornar esse processo eficiente, o sistema inclui um botão de parada inteligente. Em muitos bancos de dados científicos, a mesma informação é repetida em muitos documentos diferentes. Um computador padrão pode continuar pesquisando página após página, desperdiçando tempo e dinheiro, mesmo após ter encontrado a resposta. O HEPUKE observa o fluxo de informações enquanto pesquisa. Ele sabe quando reuniu evidências suficientes e quando continuar pesquisando é apenas encontrar as mesmas coisas novamente. Ele interrompe a busca nesse ponto, economizando uma quantidade significativa de tempo e poder computacional. Em testes utilizando dados do experimento do Espectrômetro de Pequim III, o sistema reduziu o número de etapas de busca em 43 por cento, mantendo a qualidade das respostas quase a mesma. Também funcionou bem em um teste de conhecimento geral que não tinha nada a ver com física, mostrando que o método é robusto.

Os pesquisadores descobriram que essa abordagem é particularmente boa em lidar com as regras específicas e rígidas da física de partículas. Eles descobriram que a parte mais importante do código para verificar é a seção onde o cientista decide quais eventos manter e quais descartar. É aqui que a incerteza costuma residir com maior frequência. Ao focar nesta parte, o sistema consegue distinguir entre um exemplo útil e um enganoso. O estudo mostra que, ao tratar a incerteza como uma ferramenta em vez de um erro, os assistentes de IA podem se tornar parceiros muito mais confiáveis para os cientistas. Eles podem aprender com seus erros, evitar copiar os métodos errados e ajudar os pesquisadores a chegar às respostas mais rápido sem sacrificar a precisão. Este trabalho sugere que o futuro da descoberta científica não será apenas sobre ter mais dados, mas sobre ter formas mais inteligentes de confiar nas informações que encontramos.

Resumo Técnico: HEPUKE – Evolução de Conhecimento com Sensibilidade à Incerteza para Agentes de Análise de Física de Altas Energias

Declaração do Problema

A análise em Física de Altas Energias (HEP) exige que agentes sintetizem fluxos de trabalho de software complexos (Linguagens de Domínio Específico ou DSLs) baseados em precedentes de poucos disparos (few-shot). Os sistemas de Geração Aumentada de Recuperação (RAG) existentes para HEP enfrentam três limitações críticas:

Relevância Enganosa: A similaridade semântica padrão trata todos os documentos recuperados como igualmente confiáveis. Em HEP, os documentos podem compartilhar terminologia, mas diferir em relevância física, tipos de medição ou confiabilidade, levando ao viés sistemático.
Conhecimento Estático: Os sistemas atuais não retêm iterativamente precedentes validados nem estimam a confiança da evidência armazenada, impedindo que a base de conhecimento evolua com base em análises bem-sucedidas.
Incerteza Não Calibrada: Os métodos de quantificação de incerteza existentes capturam primariamente flutuações estatísticas (variância de saída sob evidência fixa), mas falham em contabilizar a incerteza sistemática decorrente de escolhas metodológicas na evidência recuperada. Além disso, os loops de recuperação carecem de mecanismos de parada adaptativos, levando a chamadas redundantes em corpora de HEP altamente repetitivos.

Metodologia: Estrutura HEPUKE

Os autores propõem o HEPUKE (Uncertainty-Aware Knowledge Evolution), um sistema que funde a incerteza estatística da geração de Grandes Modelos de Linguagem (LLM) com a incerteza sistemática das escolhas metodológicas de HEP. A estrutura opera em uma base de conhecimento compartilhada $K = K_{QA} \cup K_{DSL}$ , onde $K_{DSL}$ é uma biblioteca em evolução de programas DSL (especificamente HepScript para o experimento BESIII).

1. Estimador de Confiança com Sensibilidade à Incerteza

O HEPUKE quantifica a confiabilidade de um precedente recuperado medindo sua capacidade de reduzir a incerteza no DSL gerado.

Incerteza Estatística ( $H_{stat}$ ): Computada via entropia preditiva de nível de token do LLM.
Incerteza Sistemática ( $H_{syst}$ ): Computada via desaccordo estrutural (Divergência de Jensen-Shannon) entre caminhos de geração de DSL semanticamente equivalentes. Isso captura a sensibilidade às escolhas metodológicas (ex: cortes de seleção, configurações de ajuste).
Pontuação: O sistema calcula a redução de entropia ( $\Delta H$ ) quando um precedente candidato é usado versus um baseline. Uma pontuação de candidato é formada ponderando a redução na entropia do código completo e da entropia do módulo de seleção:
$score(q, k) = \Delta H_{stat}(q, k) + \alpha \Delta H_{full}(q, k) + (1 - \alpha) \Delta H_{sel}(q, k)$
A confiança $c(q)$ é derivada desta pontuação usando uma função sigmoide.

2. Base de Conhecimento de DSL Autoevolutiva

O sistema emprega um mecanismo de evolução de conhecimento com portão de confiança e de adição exclusiva (confidence-gated, append-only).

Portão Duplo: Um programa sintetizado só é admitido na base de conhecimento se passar por:
1. Portão de Validação: Parsing estático bem-sucedido e execução de teste (dry-run).
2. Portão de Confiança: O programa deve exibir um "ponto ideal" (sweet spot) específico de redução de incerteza. Os autores observam uma relação em forma de U invertido, onde uma redução de incerteza muito alta indica a cópia inapropriada de valores específicos do precedente (cauda de transcrição), enquanto uma redução baixa indica conflito. Apenas programas com redução de incertesa moderada e positiva são admitidos.
Proveniência: Cada entrada retém fragmentos de origem e o histórico de síntese, permitindo o rastreamento até as sementes escritas por humanos.

3. Controlador de Parada Antecipada

Para abordar a redundância em corpora de HEP, o HEPUKE introduz um controlador de parada adaptativo que determina quando encerrar as rodadas de recuperação.

Mecanismo: Ele funde um teste de estacionalidade retroativo (baseado em Detecção de Mudança de Ponto Online Bayesiana, BOCPD) na posterior da resposta com uma estimativa proativa de ganho de informação marginal.
Decisão: A recuperação para quando a posterior está suficientemente estável e o ganho de informação esperado de outra rodada é baixo, evitando a sobre-recuperação sem exigir tokens de reflexão ou retreinamento.

Principais Contribuições

Sinal de Incerteza Unificado: O artigo propõe um método para fundir incerteza estatística (variância de geração do LLM) e incerteza sistemática (escolhas metodológicas na evidência) em um único sinal de confiança para reclassificação (reranking) e admissão de conhecimento.
Base de Conhecimento Autoevolutiva: Introduz um mecanismo para a expansão contínua e com portão de confiança de uma base de conhecimento de domínio específico, indo além de índices de recuperação estáticos.
Parada Antecipada Baseada em Teoria da Informação: Os autores desenvolvem um controlador que reduz a recuperação redundante em corpora científicos altamente repetitivos, combinando detecção de estacionalidade com estimativa de ganho de informação.
Benchmark BESIII: O trabalho lança um benchmark de larga escala e anotado por especialistas (BESIII-PhysicsQA), contendo 1.000 pares de pergunta-resposta e uma biblioteca de 700 programas HepScript escritos por especialistas.

Resultados Experimentais

Os experimentos foram conduzidos no benchmark BESIII-PhysicsQA (in-domain) e HotpotQA (out-of-domain).

Confiança vs. Relevância: A seleção de confiança sensível à incerteza superou a recuperação baseada em relevância padrão. Na tarefa BESIII-DSL, a melhor configuração de confiança ( $\alpha=0.0$ ) alcançou 76,08% de correspondência estrita e 65,02% de precisão de física, comparado a 74,94% e 62,46% para a seleção de top-1 baseada em relevância.
Evolução do Conhecimento: O "portão de intervalo" (admitindo apenas redução de incerteza moderada) melhorou a qualidade dos programas admitidos de 0,93 para 0,95, rejeitando efetivamente a "cauda de transcrição" onde os modelos copiam cegamente valores específicos do precedente.
Eficiência: No benchmark BESIII-PhysicsQA, o controlador de parada antecipada reduziu as rodadas de recuperação em 43,0% (de 5,23 para 2,98) e o total de tokens em 44,9%, preservando 95,5% da precisão nativa da resposta (uma queda de apenas 2,27 pontos percentuais). No HotpotQA, o controlador reduziu o tempo de recuperação em 18,2% com uma queda negligível na precisão (0,76 pontos em F1).
Robustez: O portão de confiança permaneceu eficaz sob perturbações na profundidade de recuperação ( $k=10$ ) e paráfrase de prompts, mostrando robustez particular em métricas de avaliação sensíveis à física.

Significância

O artigo afirma que o HEPUKE aborda as necessidades específicas de agentes científicos onde a "orientação estratégica" é mais valiosa do que "respostas prontas". Ao tratar a incerteza não apenas como um artefato de geração, mas como um sinal de confiabilidade metodológica, o sistema permite uma base de conhecimento auto-corretiva e em evolução. Os resultados sugerem que, para domínios de alta responsabilidade e redundantes como HEP, o controle da incerteza sistemática e o uso de parada adaptativa produzem um compromisso custo-precisão superior em comparação com pipelines RAG padrão. A estrutura foi desenhada para ser agnóstica ao gerador e aplicável a qualquer experimento de HEP que utilize DSLs estruturadas.