Resumo Técnico: VETSCORE

Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais aplicados na medicina veterinária, mas frequentemente produzem saídas que podem ser prejudiciais ou factualmente imprecisas. Embora abordagens recentes defendam a "geração de texto atribuível" (incluindo citações e trechos de fontes) para melhorar a confiabilidade, a mera presença de citações não garante que as afirmações geradas sejam fiéis às fontes fornecidas. Além disso, os métodos existentes de verificação de fatos tratam todas as afirmações de forma igual. Em domínios de alto risco como a medicina veterinária, esta é uma falha crítica: uma afirmação não verificada sobre a dosagem de um medicamento apresenta um risco significativamente maior de danos ao paciente do que uma afirmação não verificada sobre o ano de publicação de um estudo. As métricas de avaliação atuais falham em distinguir esses níveis de risco, potencialmente permitindo que alucinações de alto risco passem despercebidas enquanto penalizam desproporcionalmente imprecisões de baixo risco.

Metodologia: VETSCORE

Os autores apresentam o VETSCORE, um pipeline de avaliação de múltiplas etapas projetado para avaliar a fidelidade de saídas de QA (pergunta e resposta) veterinárias de formato longo em relação aos seus trechos de fontes citadas, ponderados pelo potencial de dano de cada afirmação. O método estende o paradigma padrão de "decompor-então-verificar" com uma pontuação ajustada ao risco.

O pipeline consiste em quatro estágios distintos:

1. Segmentação de Saída: O texto gerado é dividido em segmentos baseados em delimitadores (linhas vazias ou citações anteriores). Cada segmento é associado aos seus respectivos trechos de fonte.
2. Decomposição de Afirmações: Um LLM decompõe cada segmento de texto em afirmações atômicas individuais. Para garantir que o contexto seja preservado (ex: resolução de anáfora), o decompositor recebe o texto precedente da saída até o último cabeçalho.
3. Mecanismo de Pontuação Dupla:
   • Verificação de Fatos: Um juiz LLM avalia se cada afirmação atômica é sustentada pelos trechos de fonte fornecidos. Isso gera uma pontuação binária ($v_i \in \{0, 1\}$), onde 1 indica suporte e 0 indica falta de suporte ou contradição.
   • Pontuação de Potencial de Dano: Independentemente, um juiz LLM atribui uma pontuação de potencial de dano ($w_i \in [1, 5]$) a cada afirmação. Esta pontuação reflete a gravidade do dano caso a afirmação estivesse incorreta e fosse aplicada por um profissional veterinário. A escala varia de 1 (sem consequência clínica, ex: metadados de estudo) a 5 (dano direto ao paciente, ex: dosagem incorreta de medicamento ou contraindicação).
4. Agregação Ponderada pelo Risco: A pontuação final para um segmento é calculada agregando as pontuações de verificação e de dano. Os autores definem uma penalidade local baseada no potencial não verificado, normalizada pelo potencial de dano total do segmento. A fórmula permite controlar a contribuição de afirmações de alto dano através de um expoente $p$ (definido como 2.426 nos experimentos). A pontuação de verificação ajustada ao risco final é $1 - p_{global}$, representando a fração do potencial de dano total que é sustentada.

Conjunto de Dados e Avaliação

Para validar o VETSCORE, os autores construíram um conjunto de dados de meta-avaliação:

• Entradas: 67 consultas diversas de um sistema de QA veterinária de produção, cobrindo várias disciplinas (gastroenterologia, cardiologia, etc.) e espécies.
• Geração: Seis LLMs diferentes (incluindo GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro e modelos de pesos abertos) geraram respostas com citações baseadas em fontes do PubMed recuperadas.
• Anotação Humana: Especialistas veterinários (profissionais e estudantes) anotaram 1.200 segmentos contendo 4.986 afirmações. Eles realizaram duas tarefas: verificação binária de fatos e pontuação de potencial de dano de 1 a 5.
• Agregação: Devido à concordância moderada entre anotadores na pontuação de dano ($\alpha = 0.462$), os autores utilizaram a Teoria de Resposta ao Item (especificamente o Modelo de Crédito Parcial) para ajustar a severidade do avaliador e derivar pontuações agregadas.

Resultados Principais

Os autores avaliaram o VETSCORE utilizando nove modelos de julgamento diferentes (variando de modelos proprietários como GPT-5.6 Sol a modelos menores de pesos abertos como Gemma 4 31B) contra as anotações humanas.

• Correlação com Especialistas: O VETSCORE alcançou altas correlações de Spearman com especialistas humanos. As correlações de verificação de fatos atingiram até 0.783 (Gemini 3.6 Flash), e as correlações de potencial de dano atingiram 0.763 (Gemini 3.1 Pro).
• Eficiência do Modelo: A abordagem modular provou ser eficaz mesmo com modelos menores. O Gemma 4 31B (31B de parâmetros) alcançou correlações competitivas com modelos proprietários muito maiores, sugerindo que o método não requer LLMs massivos para uma avaliação eficaz.
• Estudos de Ablação: Remover o componente de potencial de dano (baseline de apenas Verificação) reduziu significamente a correlação com as pontuações combinadas humanas em termos absolutos, confirmando que a ponderação de risco é essencial para a relevância clínica. A avaliação conjunta (combinando verificação e pontuação em um único prompt) degradou o desempenho em comparação com a abordagem modular.
• Consistência: Modelos proprietários e o Gemma 4 31B mostraram alta consistência entre as execuções, enquanto alguns modelos de Mistura de Especialistas (MoE) de pesos abertos exibiram maior variância.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Pipeline VETSCORE: Um pipeline de verificação eficiente, explicável e modular que fornece pontuações de fidelidade ponderadas pelo risco especificamente para QA veterinária de formato longo. Diferente de métodos anteriores, ele penaliza explicitamente afirmações de alto risco não verificadas de forma mais severa do que as de baixo risco.
2. Conjunto de Dados Validado por Especialistas: O lançamento de um conjunto de dados de meta-avaliação anotado por profissionais veterinários, que demonstra que a abordagem proposta correlaciona-se altamente com o julgamento de especialistas humanos.
3. Viabilidade com Modelos Pequenos: A demonstração de que a abordagem de decomposição modular e ponderação de risco permite uma avaliação eficaz usando LLMs menores e mais eficientes, tornando o sistema escalável.

Os autores enfatizam que o VETSCORE aborda a necessidade específica de avaliação "informada pelo risco" em domínios clínicos. Ao decompor as saídas e ponderar as afirmações pelo potencial de dano, o sistema oferece explicabilidade detalhada, permitindo que profissionais identifiquem exatamente quais afirmações de alto risco carecem de suporte. O artigo conclui que, embora o método esteja atualmente focado na fidelidade baseada em trechos, seu framework ajustado ao risco é um passo crítico para uma IA mais segura e baseada em evidências na medicina veterinária.