🤖 AI

Triple Expert Learning from Noisy Labels for Semi-Supervised Vision Foundation Model Adaptation

Este artigo propõe o TriNoL, um framework de adaptação semissupervisionada para Modelos de Fundação de Visão que aumenta a robustez a pseudo-rótulos ruidosos ao rotear amostras não rotuladas para três regiões baseadas em confiança e treinar especialistas LoRA especializados para sinais positivos, de alinhamento e negativos, mantendo o backbone congelado.

Autores originais: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xuanyu Liu, Zheng Fang, Hongyang He, Yundi Hong, Daizong Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a reconhecer animais. Você tem algumas fotos com nomes perfeitos escritos nelas, mas também tem uma pilha enorme de fotos sem nome nenhum. Para ensinar o robô, você pede que ele adivinhe os nomes para as fotos não rotuladas. Se ele adivinhar com confiança, você escreve esse palpite e o usa como um "professor" para a próxima rodada. Este é o mundo do Aprendizado Semissupervisionado, um truque inteligente em ciência da computação que nos permite aprender com enormes quantidades de dados não rotulados.

Mas aqui está a pegadinha: o robô não é perfeito. Às vezes, ele adivinha com confiança, mas erra totalmente. Esses erros são chamados de "rótulos ruidosos" (noisy labels). Se você simplesmente deixar o robô aprender com todos os seus palpites, ele pode começar a acreditar em seus próprios erros, ficando confuso e aprendendo as coisas erradas. Isso é especialmente complicado quando usamos Modelos de Fundação de Visão — que são cérebros de IA gigantes e pré-treinados que já conhecem muito sobre o mundo. Não queremos retreinar o cérebro inteiro (isso é muito pesado e caro); queremos apenas adicionar um "adaptador" minúsculo e leve para ajudá-lo a aprender nossa tarefa específica. A grande questão é: como ensinar esse adaptador quando os "professores" (os palpites do robô) são uma mistura de gênios, estudantes confusos e mentirosos descarados?

Este é exatamente o problema abordado por um novo método chamado TriNoL (Aprendizado de Triplo Especialista a partir de Rótulos Ruidosos). Os pesquisadores perceberam que tratar todas as fotos não rotuladas da mesma forma é um erro. Um único adaptador minúsculo tentando aprender com uma mistura de palpites perfeitos, palpites incertos e palpites selvagens fica confuso. É como tentar ensinar um único aluno a ser um gênio da matemática, um escritor criativo e um inspetor de segurança ao mesmo tempo, usando uma pilha bagunçada de instruções. As instruções para matemática podem contradizer as instruções de segurança, e o aluno acaba não aprendendo nada bem.

Para corrigir isso, os autores propõem dividir o trabalho de aprendizado em três "especialistas", cada um com seu próprio adaptador minúsculo. Eles classificam as fotos não rotuladas em três grupos baseados em quão confiante o robô está sobre seu palpite:

O Especialista Positivo (Os Gênios de Alta Confiança): Este especialista olha apenas para as fotos onde o robô tem muita certeza (como 95% de confiança). Esses palpites geralmente estão certos, então este especialista aprende de forma dura e rápida, refinando a habilidade do robô de distinguir um gato de um cachorro.
O Especialista de Alinhamento (O Meio Termo Confuso): Este especialista lida com as fotos onde o robô está "mais ou menos" (talvez 50-70% de certeza). Estes são os casos complicados próximos às bordas das categorias. Em vez de forçar um palpite rígido, este especialista gentilmente empurra o robô para ser consistente, ajudando-o a entender as linhas tênues entre as categorias sem forçá-lo a cometer um erro.
O Especialista Negativo (A Rede de Segurança para Mentirosos): Este especialista lida com as fotos onde o robô mal consegue dar um palpite (baixa confiança). Em vez de ignorar essas fotos ou tentar forçá-las a estarem certas, este especialista aprende a evitar as respostas erradas. Ele atua como um filtro, garantindo que o robô não seja enganado por seus próprios palpites selvagens.

O artigo sugere que, ao separar esses três grupos em três "caminhos de aprendizado" diferentes, o sistema se torna muito mais robusto. O caminho "Positivo" permanece limpo e forte porque não é poluído pelos palpites ruidosos. O caminho de "Alinhamento" ajuda o robô a entender as áreas cinzentas, e o caminho "Negativo" protege o sistema de ser enganado.

Os pesquisadores testaram essa ideia em vários conjuntos de dados, incluindo imagens de comida, pássaros e objetos gerais. Eles descobriram que o TriNoL funciona particularmente bem quando há pouquíssimos exemplos rotulados e os dados não rotulados são bagunçados. Por exemplo, em um conjunto de dados de comida com apenas algumas imagens rotuladas, o TriNoL melhorou a precisão de cerca de 87,58% para 88,42%, superando outros métodos. Eles também mostraram que essa melhoria não é apenas porque tornaram o sistema maior; mesmo quando compararam o TriNoL a um único adaptador muito maior com a mesma capacidade de computação, o TriNoL ainda venceu. Isso sugere que o ingrediente secreto não é apenas ter mais poder cerebral, mas sim ter o tipo certo de organização.

No entanto, os autores fazem questão de notar que isso não é uma solução mágica para todas as situações. Em casos onde há muitas imagens rotuladas ou onde os dados já são muito limpos, a vantagem de ter três especialistas diminui. Eles também admitem que, se os escores de confiança iniciais do robô estiverem completamente errados (descalibrados), o sistema de classificação pode ficar confuso. Mas, para o desafio específico de adaptar modelos de IA poderosos com dados limitados e palpites ruidosos, essa abordagem de "triplo especialista" oferece uma maneira estruturada e promissora de manter o aprendizado no caminho certo.

Resumo Técnico: TriNoL – Aprendizado de Triplo Especialista a partir de Rótulos Ruidosos para Adaptação de VFM Semisupervisionada

1. Declaração do Problema

O artigo aborda o desafio de adaptar Modelos de Fundação de Visão (VFMs), como CLIP e codificadores da série DINO, em cenários de aprendizado semisupervisionado (SSL), onde os dados rotulados são escassos e os dados não rotulados dependem de pseudo-rótulos. Embora os VFMs forneçam representações pré-treinadas robustas, sua adaptação geralmente envolve congelar o backbone e atualizar módulos de Ajuste Fino de Eficiência de Parâmetros (PEFT) leves, como o LoRA (Low-Rank Adaptation).

O problema central identificado é a sensibilidade de um único adaptador LoRA a pseudo-rótulos ruidosos. No SSL padrão, os pseudo-rótulos exibem confiabilidade mista: rótulos de alta confiança são frequentemente corretos, rótulos de confiança média são ambíguos (próximos às fronteiras de decisão) e rótulos de baixa confiança são frequentemente ruidosos. Métodos existentes normalmente tratam a confiança do pseudo-rótulo como um peso escalar ou um filtro binário (selecionando amostras de alta confiança e descartando o restante). No entanto, os autores argumentam que comprimir gradientes dessas três regiões distintas de confiabilidade em um único espaço de atualização de baixo rank causa interferência de gradiente. Gradientes confiáveis, ambíguos e ruidosos competem dentro do mesmo adaptador, potencialmente distorcendo a direção da adaptação e reforçando fronteiras de decisão incorretas (viés de confirmação).

2. Metodologia: TriNoL

Os autores propõem o TriNoL (Triple-expert learning from Noisy Labels), um framework que decompõe a supervisão de pseudo-rótulos em três regiões baseadas em confiança, cada uma tratada por um especialista LoRA especializado.

2.1 Arquitetura

Backbone Congelado: O backbone pré-treinado ( $\psi$ ) permanece congelado.
Triplo Especialista LoRA: Em vez de um único adaptador, o TriNoL emprega três ramos LoRA independentes ( $\theta^+$ $θ^{+}$ , $\theta^a$ $θ^{a}$ , $\theta^-$ $θ^{-}$ ) inseridos nas projeções lineares congeladas:
1. Especialista Positivo ( $e^+$ ): Lida com pseudo-rótulos de alta confiança.
2. Especialista de Alinhamento ( $e^a$ ): Lida com pseudo-rótulos de confiança média (ambíguos).
3. Especialista Negativo ( $e^-$ ): Lida com pseudo-rótulos de baixa confiança (ruidosos).
Cabeça de Classificação: Uma cabeça de classificação compartilhada ( $C_\omega$ ) é atualizada juntamente com os especialistas.

2.2 Roteamento Baseado em Confiança

Durante o treinamento, as amostras não rotuladas são processadas através de uma visão fracamente aumentada para gerar pseudo-rótulos e escores de confiança ( $q_i$ ). Dois limiares, $\tau^-$ e $\tau^+$ , particionam o lote não rotulado $B_u$ em três conjuntos:

Alta Confiança ( $B_u^+$ ): $q_i \ge \tau^+$ . Encaminhado para o Especialista Positivo.
Confiança Média ( $B_u^a$ ): $\tau^- \le q_i < \tau^+$ . Encaminhado para o Especialista de Alinhamento.
Baixa Confiança ( $B_u^-$ ): $q_i < \tau^-$ . Encaminhado para o Especialista Negativo.

2.3 Objetivos de Aprendizado Específicos por Especialista

Cada especialista é otimizado com uma função de perda distinta, adaptada à confiabilidade de suas amostras atribuídas:

Perda Positiva ( $L_{pos}$ ): Utiliza supervisão de pseudo-rótulo rígida (Hard Cross-Entropy) em amostras de alta confiança para fortalecer a adaptação discriminativa.
Perda de Alinhamento ( $L_{align}$ ): Utiliza alinhamento suave (divergência de Kullback-Leibler) para amostras de confiança média. Ela faz o correspondente entre a predição da visão forte do Especialista de Alinhamento e a probabilidade da visão fraca desconectada ( $sg(p_i^w)$ ). Isso evita forçar decisões rígidas em amostras ambíguas enquanto preserva a informação de fronteira.
Perda Negativa ( $L_{neg}$ ): Projetada para suprimir o comprometimento excessivo com rótulos não confiáveis. Em vez de tratar pseudo-rótulos de baixa confiança como alvos, esta perda penaliza o Especialista Negativo por atribuir alta probabilidade ao atual pseudo-rótulo principal. Isso evita que sinais ruidosos dominem a atualização sem assumir que todos os pseudo-rótulos de baixa confiança são estritamente errados.

O objetivo total é uma soma ponderada: $L = L_{sup} + \lambda_{pos}L_{pos} + \lambda_{align}L_{align} + \lambda_{neg}L_{neg}$ .

2.4 Inferência

No momento da inferência, apenas o Especialista Positivo é utilizado, pois foi treinado em rótulos de verdade fundamental (ground-truth) e pseudo-rótulos confiáveis. Os outros especialistas servem para regular o processo de treinamento.

3. Análise Teórica

O artigo fornece justificativa teórica para a abordagem:

Interferência de Gradiente: Um único adaptador atualiza com base em um gradiente misto $G_{single} = G^+ + G^a + G^-$ . O desvio da atualização ideal confiável ( $G^+$ ) é proporcional à magnitude dos gradientes ambíguos e ruidosos.
Redução de Contaminação: Ao rotear as amostras, o TriNoL garante que o Especialista Positivo receba um gradiente $G^+_{TriNoL}$ com significativamente menos contaminação de $G^a$ e $G^-$ , levando a um desvio menor em relação ao alvo confiável.
Estabilidade de Subespaço: No contexto de aproximação de baixo rank, separar o sinal "limpo" ( $S$ ) do ruído ( $E$ ) e da ambiguidade ( $A$ ) permite que o Especialista Positivo aproxime uma matriz alvo mais limpa, resultando em um subespaço de baixo rank mais próximo da direção ótima real em comparação com um único adaptador treinado na matriz contaminada.
Estabilidade de Otimização: Reduzir o viés no gradiente do Especialista Positivo leva a um raio de viés de estado estacionário menor na otimização local, melhorando a estabilidade da convergência.

4. Resultados Experimentais

O TriNoL foi avaliado no CIFAR-100, FOOD-101, Semi-Aves e ImageNet sob várias configurações semisupervisionadas (variando proporções de dados rotulados e níveis de ruído).

Desempenho: O TriNoL alcança resultados de estado da arte em configurações de poucos rótulos e com ruído. Melhorias notáveis incluem:
- FOOD-101 (N2): 88,42% vs. 87,58% (V-PET) e 87,27% (FineSSL).
- Semi-Aves (Mistura OOD): 61,82% vs. 61,30% (FineSSL).
- CIFAR-100 (N4): 80,92% vs. 80,66% (FineSSL).
Eficiência: O TriNoL utiliza três especialistas LoRA de rank-8 (totalizando ~0,96M de parâmetros), comparável a um único adaptador LoRA de rank-24. Apesar de números de parâmetros e custos computacionais semelhantes, o TriNoL supera o adaptador único de rank correspondente (88,42% vs. 87,73% no FOOD-101 N2), demonstrando que o ganho provém da especialização do especialista e não do aumento de capacidade.
Estudos de Ablação:
- Remover qualquer um dos três especialistas degrada o desempenho, confirmando seus papéis complementares.
- Substituir o roteamento baseado em confiança por roteamento aleatório ou funções de perda compartilhadas produz resultados inferiores, validando a necessidade tanto do roteamento quanto dos objetivos especializados.
- A análise de sensibilidade indica desempenho ideal com limiares $(\tau^-, \tau^+) = (0,3, 0,7)$ e pesos de perda específicos.

5. Significância e Alegações

O artigo afirma que o TriNoL oferece uma mudança significativa na forma como a adaptação de VFM semisupervisionada lida com o ruído de pseudo-rótulos. Suas principais contribuições são:

Identificação de uma Limitação: Destaca que comprimir gradientes de pseudo-rótulos de confiabilidade mista em um único espaço de baixo rank é uma fraqueza fundamental nos atuais PEFT baseados em SSL.
Roteamento Consciente de Confiança: Propõe que a confiabilidade do pseudo-rótulo deve controlar o caminho de adaptação, não apenas o peso da perda. Ao atribuir amostras confiáveis, ambíguas e não confiáveis a especialistas especializados, o método reduz a interferência de gradiente.
Robustez com Baixo Custo: O TriNoL melhora a robustez à supervisão ruidosa mantendo a eficiência da adaptação de backbone congelado, tornando-o adequado para cenários de recursos limitados com poucos rótulos.

Os autores reconhecem limitações, observando que o método depende do roteamento baseado em confiança (que pode ser afetado por má calibração ou mudança de domínio) e que atualmente está focado em classificação de imagens. Sugere-se que trabalhos futuros foquem em predição densa e tarefas multimodais.