🤖 machine learning

Quantization Effects on Biomedical LLM Reliability

Este estudo demonstra que, para modelos de linguagem decodificadores biomédicos, o design do template de prompt e os protocolos de pontuação de probabilidade exercem uma influência dominante sobre a calibração e a acurácia — frequentemente superando os efeitos da arquitetura do modelo ou da quantização — destacando a necessidade crítica de padronizar essas escolhas de implementação em avaliações experimentais.

Autores originais: Anton Rasmussen, Hong Qin

Publicado 2026-08-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anton Rasmussen, Hong Qin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô superinteligente a ler periódicos médicos. Esses periódicos estão cheios de informações importantes sobre novos tratamentos e doenças, mas são escritos em uma mistura confusa de parágrafos. Médicos precisam classificar rapidamente essas frases em categorias organizadas como "Contexto", "Métodos" ou "Resultados" para encontrar a verdade. Este é um trabalho enorme para humanos, por isso cientistas estão tentando usar Inteligência Artificial (IA) para fazer isso em seu lugar.

Mas aqui está a parte complicada: a IA não é apenas sobre acertar a resposta; é sobre saber o quão certa ela está. Se um robô diz: "Tenho 100% de certeza de que este medicamento cura o câncer", mas ele estiver errado, isso é perigoso. Isso cria uma falsa sensação de segurança. Cientistas chamam isso de "calibração". Um robô bem calibrado é honesto: se ele tem apenas 60% de certeza, ele deve dizer isso. No entanto, medir essa honestidade é como tentar pesar uma pena em uma balança que muda suas próprias regras toda vez que você aperta um botão. A maneira como você faz a pergunta ao robô, a maneira como você ouve sua resposta e até mesmo como você processa os números para obter uma pontuação podem mudar completamente se o robô parece honesto ou louco. Este artigo mergulha fundo nessa realidade caótica para ver se podemos confiar nesses robôs médicos quando eles estão rodando em hardware mais barato e rápido.

O Grande Assalto à Calibração do Robô

Neste estudo, os pesquisadores trataram três versões diferentes de um poderoso cérebro de IA (chamado Mistral-7B) como competidores em um programa de auditório. Eles queriam ver qual deles era o mais honesto e preciso ao classificar sentenças médicas. Os competidores eram:

O Modelo Base: Um cérebro bruto, não treinado.
O BioMistral: Um cérebro que leu milhões de artigos médicos para aprender o jargão.
O Modelo de Instrução (Instruct): Um cérebro que foi ensinado a seguir comandos e conversar.

Eles testaram esses cérebros sob três "modos de energia": o modo padrão de alta potência (FP16), um modo de potência média que economiza memória (INT8) e um modo supercompactado (INT4) que cabe em computadores minúsculos.

A Armadilha do "Como Você Pergunta"

A maior surpresa do artigo é que a "pontuação de honestidade" do robô depende inteiramente de como você faz a pergunta. Os pesquisadores tentaram duas formas principais de pontuar as respostas:

O Método de "Pontos Totais": Você soma cada pequena parte da confiança que o robô dá para a resposta inteira.
O Método de "Pontos Médios": Você tira a média da confiança por palavra.

Aqui está a reviravolta: Trocar entre esses dois métodos inverteu completamente o placar.
Quando usando o método de "Pontos Totais", o modelo Instruct pareceu terrível em ser honesto (ele estava excessivamente confiante), enquanto o BioMistral pareceu ótimo. Mas quando eles trocaram para o método de "Pontos Médios", o modelo Instruct de repente pareceu o mais honesto, e o BioMistral pareceu excessivamente confiante.

É como julgar a nota de um aluno somando cada ponto que ele obteve (Total) versus a média de sua nota por questão (Média). Um aluno pode ter algumas respostas perfeitas e muitas em branco, enquanto outro tem notas constantes de "B+". Dependendo da regra matemática que você usar, você pode declarar um vencedor diferente. O artigo mostra que, para esses robôs médicos, a regra matemática que você escolhe importa mais do que qual robô você escolheu.

A Montanha-Russa do "Prompt"

Os pesquisadores também descobriram que o estilo da pergunta (o "prompt") causou oscilações selvagens na precisão. Eles testaram quatro maneiras diferentes de estruturar a tarefa, desde algo muito estruturado com bordas elegantes até um texto simplificado.

Para o Modelo Base, mudar o estilo do prompt fez a precisão saltar de 7 a 24 pontos percentuais. Isso é uma diferença enorme! É como se um aluno tirasse 80% em uma prova quando o professor escreveu as instruções em tinta azul, mas tirasse 55% quando as instruções estavam em tinta vermelha.
Às vezes, o modelo BioMistral era o melhor com um prompt, mas o modelo Instruct era o melhor com outro. Não havia um único "melhor" robô; o vencedor mudava dependendo da roupa que o robô estava vestindo.

O Teste de Hardware "Compactado"

Como hospitais e clínicas podem não ter computadores super caros, os pesquisadores testaram o que acontece quando você espreme os robôs em formatos menores e comprimidos (INT8 e INT4).

Boas Notícias: Para os robôs médicos especializados (BioMistral e Instruct), compactá-los no modo INT8 quase não mudou sua precisão ou honestidade. Eles permaneceram dentro de 1 a 2 pontos percentuais de suas versões de potência total. É como colocar uma mochila pesada em um corredor; ele pode até diminuir um pouco o ritmo, mas ainda consegue terminar a corrida tão bem quanto antes.
Notícias Mistas: Quando eles os compactaram ainda mais para o modo INT4, os resultados foram um pouco caóticos. Às vezes a precisão subia ligeiramente, às vezes caía, mas não causou um desastre total. O modelo base, no entanto, foi mais sensível e mostrou mudanças maiores.

O Desastre de "Uma Letra Só"

Antes de decidir pelo método final, os pesquisadores tentaram um atalho. Eles pediram aos robôs que respondessem apenas com uma única letra (A, B, C, D, E ou F) em vez de escrever a palavra completa (como "Contexto" ou "Métodos").
Isso falhou miseravelmente. Os robôs começaram a adivinhar a mesma letra repetidamente, ignorando o conteúdo médico real. Era como se o robô estivesse apenas chutando "A" porque viu a letra "A" com mais frequência em seus dados de treinamento. Isso provou que você não pode usar apenas códigos curtos; você precisa deixar o robô escrever a resposta completa para obter uma leitura real de seu cérebro.

A Conclusão Principal

A principal lição deste artigo é que, quando tentamos medir o quão confiáveis são esses robôs de IA médica, temos que ser muito cuidadosos com as regras que usamos.

A "honestidade" do robô não é apenas um traço fixo dentro da máquina; é um resultado de como o medimos. Se você mudar a matemática da pontuação ou o estilo da pergunta, você pode pensar que um robô é um gênio e outro é um mentiroso, quando na verdade eles podem ser o mesmo. O artigo sugere que, antes de confiarmos nesses robôs para ajudar médicos, precisamos testá-los com muitos estilos de perguntas e métodos de pontuação diferentes, não apenas um.

Além disso, embora compactar esses robôs em computadores menores (INT8) pareça seguro para as versões médicas especializadas, não podemos simplesmente assumir que funciona para todos. Temos que verificar cada configuração específica. Os pesquisadores não encontraram uma solução mágica que resolva tudo, mas encontraram um mapa de todas as armadilhas que precisamos evitar para não sermos enganados por um robô que parece confiante, mas que está apenas dando palpites.

Resumo Técnico: Efeitos de Quantização na Confiabilidade de LLMs Biomédicos

Declaração do Problema

Revisões sistemáticas são críticas para a medicina baseada em evidências, mas a triagem manual de resumos de pesquisas continua sendo um gargalo. A classificação automatizada de sentenças — atribuindo papéis funcionais (ex: BACKGROUND, METHODS, RESULTS) a sentenças em resumos médicos) — oferece uma solução. Embora os Grandes Modelos de Linguagem (LLMs) sejam candidatos naturais para essa tarefa, seu implantação em pipelines adjacentes à saúde exige não apenas precisão, mas também estimativas de confiança bem calibradas. Um modelo que é altamente preciso, mas excessivamente confiante em seus erros, apresenta riscos significativos para meta-análises e diretrizes clínicas subsequentes.

Além disso, ambientes com restrição de recursos necessitam de técnicas de compressão de modelos como quantização INT8 e INT4. No entanto, o impacto desses métodos de quantização na qualidade da calibração, particularmente para LLMs biomédicos, é pouco compreendido. Crucialmente, métricas de calibração aparentes estão frequentemente entrelaçadas com escolhas de implementação — especificamente, o template de prompt, o verbalizador (mapeamento de rótulo para token) e a regra de pontuação — que raramente são tratadas como variáveis experimentais. Este artigo investiga como essas escolhas de medição, juntamente com a quantização, influenciam a confiabilidade e a calibração de decodificadores biomédicos.

Metodologia

Modelos e Conjunto de Dados

O estudo avalia três variantes de 7 bilhões de parâmetros do decodificador Mistral na tarefa de classificação de sentenças de PubMed RCT (5 classes: BACKGROUND, OBJECTIVE, METHODS, RESULTS, CONCLUSIONS) usando uma amostra estratificada de $n=2.000$ exemplos de teste:

Mistral-7B-v0.3 (Base): Um decodificador genérico sem ajuste específico de tarefa ou de instrução.
BioMistral-7B: Um modelo com pré-treinamento contínuo em artigos do PubMed Central, herdando o ajuste de instrução de seu progenitor (Mistral-7B-Instruct-v0.1).
Mistral-7B-Instruct-v0.3 (Instruct): A variante do modelo base com ajuste de instrução.

Um codificador ajustado, PubMedBERT, serve como um ponto de referência supervisionado (treinado em $\sim$ 176k exemplos), embora os resultados sejam observados como não diretamente comparáveis devido a diferenças nos dados de treinamento e na distribuição de avaliação.

Variáveis Experimentais

A avaliação varia sistematicamente três fatores:

Precisão: FP16 (baseline), INT8 (mistura de precisão LLM.int8()) e INT4 (NF4 com dupla quantização).
Templates de Prompt: Quatro templates de texto de resposta foram usados:
- Struct-Delim e Bare-Cont: Descobertos via busca evolutiva de prompt em um conjunto de desenvolvimento.
- Min-Inst e Alt-Frame: Projetados independentemente para testar a sensibilidade à verbosidade da instrução e ao enquadramento lexical.
Protocolos de Pontuação: Dois métodos para extrair probabilidades do decodificador:
- Summed Log-Likelihood: Soma das log-probabilidades sobre os tokens do rótulo.
- Mean-Token Log-Likelihood: Média da log-probabilidade por token (normalizada pelo comprimento).

Calibração e Métricas

A calibração foi avaliada usando Erro de Calibração Esperado (ECE), escore de Brier e Log-Likelihood Negativa (NLL). O escalonamento de temperatura post-hoc foi aplicado a um conjunto de validação mantido fora do treino ( $n=200$ ) para minimizar o NLL. O estudo também avaliou os modos de falha da pontuação de código de classe de token único versus a pontuação de texto de resposta completo.

Principais Contribuições

Sensibilidade da Regra de Pontuação: O artigo demonstra que a escolha do protocolo de pontuação (log-likelihood somada vs. média de tokens) domina as classificações de calibração aparentes. Alternar protocolos inverte a hierarquia de calibração entre os modelos BioMistral e Instruct, enquanto deixa a precisão amplamente inalterada.
Impacto da Variação de Template: A escolha do template de prompt induz oscilações de precisão de 7 a 24 pontos percentuais, uma magnitude comparável ou superior às diferenças entre as variantes de modelos. Isso sugere que o design do template é uma decisão experimental de primeira ordem, não um detalhe de implementação.
Deltas de Quantização: Para modelos especializados (BioMistral e Instruct), a quantização INT8 resulta em mudanças de precisão e F1 dentro de 1–2 pontos percentuais em relação ao FP16. O INT4 (NF4) mostra efeitos heterogêneos, mas não catastróficos, com melhorias específicas no ECE para o BioMistral no template Bare-Cont. O modelo base exibe maior sensibilidade à quantização em templates específicos.

Resultados

Tradeoffs de Calibração e Precisão

Sob pontuação de log-likelihood somada, o modelo Instruct pareceu significativamente excessivamente confiante (Média ECE = 0,237) comparado ao BioMistral (Média ECE = 0,097). No entanto, sob pontuação de média de tokens, essa classificação se inverteu: o ECE do Instruct caiu para 0,096, enquanto o do BioMistral subiu para 0,289. A precisão permaneceu estável através dessas mudanças de pontuação para modelos especializados (<1% de diferença), mas o modelo base perdeu 4–6 pontos percentuais sob pontuação de média.

Efeitos de Quantização

Modelos Especializados (BioMistral/Instruct): A quantização INT8 produziu deltas de precisão $\le$ 1 ponto percentual e deltas de F1 $\le$ 2,1 pontos percentuais. Em vários casos, o INT8 melhorou marginalmente o desempenho em relação ao FP16.
Modelo Base: Mostrou maior sensibilidade, com desvios de precisão INT8 de até +4,2 pontos percentuais no template Struct-Delim.
INT4 (NF4): Os efeitos foram heterogêneos. Para o BioMistral, o INT4 melhorou o ECE especificamente no template Bare-Cont (0,063 vs. 0,104 no FP16), mantendo a precisão; no Struct-Delim, os efeitos foram mistos. Para o Instruct, o INT4 causou uma queda modesta de precisão no Bare-Cont com um ECE ligeiramente pior. Não foi observada degradação catastrófica nas configurações testadas.

Escalonamento de Temperatura

O escalonamento de temperatura post-hoc reduziu o ECE sob pontuação somada para ambos os modelos. As temperaturas ajustadas foram mais altas para o Instruct ( $T = 2,2–4,6$ ) do que para o BioMistial ( $T = 1,3–1,7$ ). No entanto, os autores observam que este achado é específico para a regra de pontuação somada e não se generaliza para a pontuação de média de tokens.

Falha da Pontuação de Token Único

Tentativas iniciais de usar códigos de classe de token único (A–E) resultaram em colapso de rótulo (macro-F1 próximo ao acaso) para os modelos base e de pré-treinamento contínuo, impulsionados por vieses posicionais e de frequência de tokens. A mudança para pontuação de texto de resposta (gerando nomes de rótulos completos) resgatou o desempenho de classificação, destacando o papel crítico do verbalizador.

Significância e Alegações

O artigo argumenta que protocolos de extração de probabilidade são os principais impulsionadores das diferenças de calibração aparentes em NLP biomédico baseado em decodificadores, muitas vezes sobrepondo-se à arquitetura do modelo ou ao histórico de treinamento.

Implicação Metodológica: Comparações de calibração entre modelos não são interpretáveis sem especificar e variar explicitamente o protocolo de pontuação. Um modelo considerado "excessivamente confiante" sob uma regra de pontuação pode parecer bem calibrado sob outra.
Design Experimental: O design do template de prompt deve ser tratado como uma variável experimental primária. As variações de precisão causadas pela escolha do template podem exceder os ganhos de desempenho da seleção de modelo ou do ajuste de instrução.
Segurança de Implantação: Embora a quantização INT8 pareça segura para decodificadores biomédicos especializados (com perda mínima de precisão), os efeitos heterogêneos do INT4 e a sensibilidade do modelo base sugerem que testes de equivalência com margens predefinidas são necessários antes da implantação.
Limitações: Os autores alertam que seus achados são específicos para a tarefa PubMed RCT e para os métodos de quantização testados (bitsandbytes). A comparação entre BioMistral e Instruct é confundida por diferenças nas versões base e no histórico de pré-treinamento, e os resultados do escalonamento de temperatura estão atrelados a uma regra de pontuação específica.

Em conclusão, o estudo ressalta que a avaliação confiável de LLMs biomédicos requer controle rigoroso sobre templates de prompt, verbalizadores e normalização de pontuação, em vez de depender de um único protocolo para julgar a calibração do modelo.