💬 NLP

Latent Knowledge as a Predictor of Fact Acquisition in Fine-Tuned Large Language Models

Este estudo demonstra que o conhecimento latente — fatos biomédicos armazenados nos pesos de um modelo, mas inicialmente inacessíveis — é o preditor mais forte de quão rapidamente os grandes modelos de linguagem adquirem novos fatos durante o ajuste fino e de sua capacidade de generalizar para mapeamentos de ontologia não vistos, ao mesmo tempo em que revela que mapeamentos anteriormente corretos são mais propensos à degradação quando não são reforçados durante o treinamento.

Autores originais: Daniel B. Hier, Tayo Obafemi-Ajayi

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Daniel B. Hier, Tayo Obafemi-Ajayi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (como o usado neste estudo) como uma biblioteca gigante e caótica que foi construída ao ler milhões de livros. Antes de os pesquisadores iniciarem seu experimento, essa biblioteca já estava cheia de fatos, mas eles estavam armazenados de uma forma bagunçada. Alguns fatos estavam escritos em letras brilhantes e negritadas na capa (fáceis de encontrar), enquanto outros estavam rabiscados com tinta invisível no fundo de um livro empoeirado (difíceis de encontrar, mas ainda lá).

Os pesquisadores queriam saber: Se dermos a esta biblioteca um "guia de estudos" específico (ajuste fino/fine-tuning), quão rápido ela aprenderá novos fatos? E o que determina se ela aprende rapidamente ou se esquece os antigos?

Aqui está a história de suas descobertas, dividida em conceitos simples:

1. A Descoberta da "Tinta Invisível" (Conhecimento Latente)

Os pesquisadores descobriram que a biblioteca tinha um segredo. Alguns fatos estavam escritos em "tinta invisível". Se você fizesse uma pergunta normal à biblioteca, ela diria: "Eu não sei". Mas, se você perguntasse de uma maneira ligeiramente diferente e mais aleatória (usando uma técnica chamada decodificação estocástica), a biblioteca subitamente diria: "Ah! Eu na verdade sei disso!"

Eles chamaram isso de Conhecimento Latente. É como um aluno que conhece uma fórmula matemática, mas está nervoso demais para escrevê-la durante uma prova. O conhecimento está lá, apenas escondido.

A Grande Descoberta:

Fatos com "Tinta Invisível" foram aprendidos super rápido. Quando os pesquisadores iniciaram o "guia de estudos" (ajuste fino), o modelo aprendeu esses fatos quase instantaneamente. Era como se o aluno só precisasse de um pequeno empurrão para lembrar o que já sabia.
Fatos SEM "Tinta Invisível" foram aprendizes lentos. Se a biblioteca nunca tivesse visto um fato antes (ou se fosse muito raro), o modelo tinha que aprendê-lo do zero. Isso levava muito mais tempo e acontecia em um ritmo mais lento.

2. Os Três Resultados do Estudo

Os pesquisadores observaram a biblioteca ao longo de 20 "sessões de estudo" (épocas) e rastrearam três coisas específicas:

Memorização (Aprender o que você vê): O modelo aprendeu os fatos que lhe foram ensinados explicitamente.
- Resultado: Ele aprendeu cerca de 72% dos fatos que lhe foram ensinados. Mas, novamente, aqueles que ele "meio que sabia" (conhecimento latente) foram aprendidos primeiro e mais rapidamente.
Generalização (Adivinhar o não visto): Os pesquisadores deram ao modelo uma lista de fatos que ele nun nunca tinha visto antes e perguntaram se ele conseguiria deduzi-los apenas estudando os similares.
- Resultado: Isso foi muito raro (apenas cerca de 6% das vezes). No entanto, o modelo só teve sucesso em adivinhar esses novos fatos se ele já possuísse essa "tinta invisível" (conhecimento latente) sobre eles. Se ele tivesse zero exposição prévia, não conseguiria adivinhar os novos fatos.
Degradação (Esquecer o que você sabia): Esta é a parte assustadora. Às vezes, enquanto o modelo estudava coisas novas, ele esquecia fatos que conhecia perfeitamente bem no início.
- Resultado: O modelo era muito mais propenso a esquecer fatos que não lhe foram ensinados durante as sessões de estudo. Os fatos que foram ensinados eram protegidos, como um escudo. É como estudar para uma prova de história e acidentalmente esquecer o próprio número de telefone porque você estava tão focado no novo material.

3. O Fator "Popularidade"

Os pesquisadores também verificaram se a "popularidade" de um fato no mundo real (com que frequência ele aparecia em livros médicos) importava.

A Surpresa: A frequência com que uma palavra específica aparecia não importava muito.
O Verdadeiro Vencedor: A frequência com que o identificador (o código específico para o fato) aparecia importava muito.
O Campeão: A "Tinta Invisível" (Conhecimento Latente) foi o preditor mais forte. Importava mais do que a popularidade ou a frequência.

A Metáfora do Aprendizado

Pense no modelo como um jardineiro e nos fatos como sementes.

Conhecimento Latente é como uma semente que já brotou uma pequena raiz debaixo da terra. Quando você a rega (ajuste fino), ela se transforma em uma planta instantaneamente.
Sem Conhecimento Latente é uma semente que está completamente dormente. Você tem que regá-la por muito tempo antes que ela sequer pense em crescer.
Generalização é tentar cultivar uma planta a partir de uma semente que você nunca viu antes. Você só consegue fazer isso se o solo (o cérebro do modelo) já tiver os nutrientes certos (conhecimento latente) para sustentá-la.
Degradação é como o jardineiro focar tanto em plantar novas flores que acaba acidentalmente pisando nas antigas. As flores que você está regando no momento (o conjunto de treinamento) ficam seguras, mas as que você ignora (o conjunto não visto) são pisoteadas.

Resumo

O artigo conclui que você não pode simplesmente forçar um modelo a aprender qualquer coisa instantaneamente.

Se o modelo já possui um "indício" do conhecimento (conhecimento latente), ele aprende rápido e pode até adivinhar coisas novas similares.
Se o modelo não possui nenhum indício, o aprendizado é lento e ele não será capaz de adivinhar novos fatos.
Para evitar que o modelo esqueça fatos antigos, você deve continuar praticando esses fatos específicos durante o treinamento.

Isso ajuda os cientistas a entenderem quando treinar um modelo e o que esperar, em vez de apenas esperar que ele aprenda tudo magicamente.

Resumo Técnico: Conhecimento Latente como um Preditor de Aquisição de Fatos em Grandes Modelos de Linguagem Ajustados (Fine-Tuned)

Problema
Grandes modelos de linguagem (LLMs) codificam fatos biomédicos com força desigual após o pré-treinamento, frequentemente espelhando a distribuição de cauda longa de seus corpora de treinamento. Enquanto alguns fatos são codificados, mas inacessíveis sob decodificação determinística (denominados "conhecimento latente"), outros são minimamente representados. A pesquisa atual frequentemente trata a aquisição de fatos durante o ajuste fino (fine-tuning) como um resultado binário (aprendido vs. não aprendido), falhando em quantificar a taxa de aquisição, a dinâmica de generalização para fatos não vistos ou os mecanismos de degradação do conhecimento. Além disso, permanece incerto como as representações derivadas do pré-treinamento, especificamente o conhecimento latente, influenciam a eficiência do ajuste fino na injeção de fatos estruturados de ontologias (pares termo–identificador) em LLMs.

Metodologia
Os autores empregaram uma estrutura de análise de sobrevivência para modelar a aquisição de fatos como um processo de tempo-até-o-evento, tratando o epoch de ajuste fino como o tempo e a primeira ocorrência de uma saída de identificador correta como o evento.

Modelo e Dados: O estudo utilizou o modelo Llama-3.1-8B-Instruct. Duas ontologias biomédicas serviram como bases de teste estruturadas: a Human Phenotype Ontology (HPO) e a Gene Ontology (GO).
- HPO: 800 pares termo–identificador foram usados como dados de treinamento (termos vistos).
- GO: 800 pares foram divididos em 400 de treinamento (vistos) e 400 retidos (não vistos) para avaliar a generalização.
Detecção de Conhecimento Latente: O conhecimento latente foi identificado via decodificação estocástica (amostragem com temperatura 1.0). Um termo possuía conhecimento latente se pelo menos uma de 50 amostras estocásticas produzisse o identificador correto antes do ajuste fino.
Protocolo de Ajuste Fino: O modelo foi ajustado por 20 epochs utilizando Low-Rank Adaptation (LoRA). Para a HPO, todos os 800 pares foram treinados. Para a GO, apenas os 400 pares vistos foram treinados, enquanto os 400 pares não vistos foram avaliados para generalização.
Estrutura Analítica:
- Aquisição/Generalização: Modeladas usando estimadores de Kaplan–Meier para gerar curvas de acumulação ( $F(t)$ ) e curvas de velocidade ( $V(t)$ ).
- Preditores: Modelos de riscos proporcionais de Cox foram usados para quantificar o impacto de covariáveis nas taxas de aquisição. As covariáveis incluíram o status de conhecimento latente, a frequência do identificador no PubMed Central (PMC), a frequência do termo no PMC e contagens de anotações curadas.
- Degradação: Analisada rastreando termos que estavam corretos na linha de base (epoch 0), mas tornaram-se incorretos durante o treinamento.

Principais Contribuições

Estrutura Baseada em Taxa: O artigo introduz uma abordagem de análise de sobrevivência para caracterizar o aprendizado de fatos, indo além das métricas de acurácia binária para quantificar a velocidade de aquisição, o tempo de convergência e o risco de degradação.
Conhecimento Latente como um Preditor Primário: O estudo estabelece que o conhecimento latente (informação presente nos pesos, mas inacessível deterministicamente) é o preditor mais forte da velocidade de aquisição de fatos e do sucesso de generalização.
Dinâmicas Assimétricas de Ajuste Fino: O trabalho delineia três resultados distintos do ajuste fino:
- Memorização: Aquisição rápida de fatos vistos, fortemente dependente de conhecimento latente.
- Generalização: Rara (5,8% neste estudo), mas previsível generalização para fatos não vistos, ocorrendo quase exclusivamente quando existe conhecimento latente.
- Degradação: A perda de fatos previamente corretos, que é significativamente mitigada apenas pela exposição contínua durante o treinamento, não pelo conhecimento latente.

Resultados

Velocidade de Aquisição: Na linha de base, o modelo recordou corretamente 2,8% dos pares da HPO. Após 20 epochs, 71,9% foram adquiridos. Termos com conhecimento latente foram adquiridos significativamente mais rápido (tempo médio de 2,9 epochs) comparados àqueles sem (11,4 epochs). O conhecimento latente aumentou a razão de risco (hazard ratio - HR) de aquisição em 2,6 ( $p < 0,001$ ).
Efeito Dose-Resposta: Uma relação graduada foi observada; termos com conhecimento latente "alto" (acurácia estocástica $\ge$ 10%) convergiram mais cedo e com maiores velocidades de pico do que aqueles com conhecimento latente "moderado".
Generalização: A generalização para termos não vistos da GO foi incomum (5,8% de 379 termos). No entanto, o conhecimento latente foi o preditor dominante, aumentando o risco de generalização em um fator de 13,67 ( $p < 0,005$ ). A frequência do identificador no PMC também predisse positivamente a generalização (HR = 3,39).
Degradação: Dos 43 termos da GO corretos na linha de base, 55,8% degradaram durante o treinamento. A degradação foi significativamente mais provável para termos não vistos do que para termos vistos (HR = 0,10 para termos vistos, indicando um efeito protetor do treinamento). Notavelmente, o conhecimento latente não protegeu contra a degradação de fatos que já estavam corretos.

Significância e Alegações
O artigo alega que a estrutura derivada do pré-treinamento, especificamente o conhecimento latente, molda fundamentalmente a eficiência do ajuste fino. Ele postula que o conhecimento latente estreita o espaço de busca efetivo do modelo, permitindo que o ajuste fino ajuste associações fracas existentes em vez de descobrir novas do zero. Consequentemente, o ajuste fino é mais eficiente para injetar fatos de ontologia onde o modelo já possui "meio-conhecimento".

Os autores concluem que este framework oferece um método principiológico para:

Identificar "desertos de ontologia" (termos sem conhecimento latente) onde o ajuste fino provavelmente será ineficiente em termos de dados.
Prever quais fatos não vistos são passíveis de generalização.
Projetar currículos que priorizem o reforço de fatos clinicamente importantes para prevenir o esquecimento catastrófico, uma vez que a resistência à degradação depende da exposição ao treinamento, e não da saliência do pré-treinamento.

O estudo enfatiza que estas descobertas são específicas para as curvas de aprendizado observadas e não pretendem explicar as mudanças mecânicas internas (ex: redistribuição de logits) que impulsionam essas mudanças, sugerindo que trabalhos futuros devem integrar análise mecânica com este framework baseado em taxas.

1. A Descoberta da "Tinta Invisível" (Conhecimento Latente)

2. Os Três Resultados do Estudo

3. O Fator "Popularidade"

A Metáfora do Aprendizado

Resumo

Mais como este