Towards LLM-Powered Automation of a Dark Matter Constraint Repository

Resumo Técnico: Rumo à Automação de um Repositório de Restrições de Matéria Escura Baseada em LLM

Definição do Problema
A busca experimental por matéria escura ultra-leve acelerou, gerando um cenário denso de restrições em pelo menos 15 tipos distintos de acoplamento (ex: axion–fóton, mistura cinética de fóton escuro). Embora repositórios como o AxionLimits compilem esses limites em gráficos de exclusão de qualidade de publicação, eles dependem de manutenção manual por voluntários individuais. Isso cria um risco de sustentabilidade, pois o volume de novos resultados ultrapassa a capacidade humana. O fluxo de trabalho manual envolve encontrar novos resultados, digitalizar figuras ou tabelas, converter parametrizações (que variam por artigo e detector), escrever código de plotagem e regenerar figuras. O desafio central é automatizar esse ciclo sem introduzir erros em convenções de física ou interpretar incorretamente complexos gráficos de exclusão log–log.

Metodologia
Os autores apresentam um pipeline de ponta a ponta que automatiza a descoberta, extração, integração e revisão de restrições de matéria escura. A arquitetia do sistema consiste em quatro estágios primários:

1. Descoberta: O sistema realiza o monitoramento diário do arXiv usando filtragem por palavras-chave e classificação de relevância por Large Language Model (LLM) para identificar artigos pertinentes.
2. Extração em Dois Estágios com Votação de Consenso:
   • Estágio 1 (Texto/Tabelas): O PDF é processado e o texto/tabelas são processados por um LLM para extrair tipos de acoplamento, pontos de massa–acoplamento e unidades/convenções declaradas em JSON estruturado.
   • Estágio 2 (Fallback de Visão): Se o Estágio 1 resultar em dados insuficientes (ex: menos de 5 pontos ou janela de massa inválida), o sistema renderiza as páginas das figuras em imagens. Um LLM lê rótulos de eixos, marcas de escala e posições de curvas em gráficos de exclusão log–log.
   • Mecanismo de Consenso: Para lidar com a não-determinística dos LLMs, cada artigo é lido independentemente três vezes ($N=3$). O tipo de acoplamento é determinado por voto majoritário. A curva final é selecionada como o medoide (o candidato com a menor distância mediana par a par com os outros no espaço log–log) em vez de uma média, garantindo que a saída seja uma amostra física real e não um híbrido fabricado.
   • Classificação de Qualidade (Tiering): Quando os candidatos discordam, eles são classificados por uma tupla lexicográfica que prioriza validade física, não-degenerescência (abrangendo $\ge$1 dex), nível da fonte (tabelas > texto > visão) e corroboração.
3. Canonicização de Convenções: Um componente crítico aborda o fato de que a mesma física é frequentemente reportada em variáveis incompatíveis (ex: $g_{aNN}$ vs. versões redimensionadas adimensionais) entre diferentes artigos. O sistema utiliza um registro por arquivo, derivado e verificado usando o assistente de física agêntico Get Physics Done (GPD), para canonicar curvas extraídas e de referência antes da pontuação. Esta camada sinaliza casos não mapeáveis em vez de emitir números incorretos.
4. Integração e Revisão: O pipeline gera código (usando o módulo AST do Python para inserção segura em classes de plotagem), atualiza notebooks Jupyter e regenera gráficos. As atualizações são enviadas como Pull Requests (PRs) contendo um gráfico "destacado" onde os limites existentes são esmaecidos e a nova proposta é mostrada em vermelho, facilitando a verificação visual rápida por especialistas do domínio.

Principais Contribuições

• Automação de Ponta a Ponta: O primeiro sistema a automatizar o ciclo completo, desde a descoberta no arXiv até a integração de código e revisão humana para um repositório científico vivo.
• Stack de Extração Robusta: Uma abordagem inovadora que trata as leitões de LLM como amostras ruidosas reconciliadas via votação de consenso e classificação de qualidade de fonte, acompanhada por uma camada de canonicização de convenção de física construída via derivação verificada por código (GPD) em vez de apenas prompting.
• Benchmark e Pontuação: Um benchmark de 346 artigos onde a verdade fundamental (ground truth) é o próprio repositório curado a montante. A metodologia de pontuação separa o erro de extração genuíno da não-comparabilidade (ex: acoplamento errado ou convenções incompatíveis).
• Mudança nas Fontes de Erro: Evidência empírica de que a leitura de gráficos log–log não é mais a fonte dominante de erro; a fronteira mudou para tipos de acoplamento raros, determinísticos e limitados por convenções.

Resultos
Avaliado em um benchmark de 346 artigos (271 artigos comparáveis):

• Classificação: O pipeline classifica corretamente o tipo de acoplamento para 90,5% dos artigos.
• Precisão de Extração: O resíduo mediano de acoplamento é de 0,33 dex (aproximadamente um fator de dois). 48,4% das curvas estão dentro de um fator de dois da verdade fundamental, com uma cobertura média de intervalo de massa de 76,2%.
• Desempenho da Fonte: A extração por visão de figura (resíduo mediano de 0,338 dex) alcançou paridade com a extração de texto/tabela (0,326 dex), indicando que a votação de consenso e a seleção de tier de qualidade fecharam o histórico hiato na leitura de gráficos densos.
• Subconjuntos: O desempenho varia conforme o tipo de acoplamento. Tipos comuns como Axion–Fóton alcançam alta precisão (0,207 dex), enquanto tipos raros com convenções idiossincráticas (ex: AxionEDM) mostram maiores resíduos (4,649 dex) e menor precisão de classificação.
• Implantação: O pipeline está implantado e gerou propostas de limites. No entanto, nenhuma foi mesclada (merged) ainda, destacando que a governança para dados científicos gerados por IA permanece um problema não resolvido.

Significância e Alegações
O artigo alega que o principal gargalo na automação da extração de dados científicos mudou da percepção estocástica (leitura de gráficos) para o conhecimento de domínio determinístico (manipulação de convenções de física). Os autores argumentam que a automação bem-sucedida requer o acoplamento de ferramentas de percepção estocástica (LLMs com votação) com camadas de conhecimento de domínio auditáveis e verificadas (registros de convenção).

O trabalho enfatiza que, embora o pipeline técnico seja funcional, a comunidade científica carece de um framework de governança para dados gerados por IA. Os autores recomendam estabelecer um conselho editorial comunitário (semelhante aos revisores do PDG) e sugerem que a publicação de dados de limites legíveis por máquina junto aos artigos contornaria completamente o gargalo da extração. O artigo conclui modestamente, observando que a revisão humana permanece essencial, particularmente para os 10% de propostas que visam o gráfico errado devido a erros de classificação ou complexidades de acoplamentos raros.