Resumo Técnico: CORE-MTL

Declaração do Problema

O aprendizado multitarefa (MTL - Multi-task learning) visa melhorar a eficiência de amostragem e a robustez ao treinar um codificador compartilhado em múltiplas tarefas relacionadas. No entanto, o MTL sofre frequentemente de transferência negativa, onde a otimização de uma tarefa degrada o desempenho de outras, e exibe uma generalização pobre sob mudanças de distribuição (Fora da Distribuição ou OOD - Out-of-Distribution).

As abordagens existentes operam primariamente ao nível de otimização, tentando reconciliar conflitos de tarefas por meio de:

1. Balanceamento de Gradiente: Reponderação ou projeção de gradientes (ex: GradNorm, PCGrad, STCH).
2. Modificação de Arquitetura: Roteamento de tarefas para fatias específicas de características do backbone (ex: MTAN).

Os autores argumentam que esses métodos tratam o aprendizado de características como uma "caixa preta", ignorando a estrutura interna da representação compartilhada. Quando a representação compartilhada emaranha fatores semânticos invariantes (relevantes para a tarefa) com fatores residuais espúrios (variações de incômodo como fundo ou iluminação), a manipulação de gradientes isoladamente não pode resolver os conflitos resultantes. Esse emaranhamento leva à dependência de "atalhos baseados em incômodos", causando uma generalização OOD frágil.

Metodologia: CORE-MTL

Os autores propõem o CORE-MTL (Causal Orthogonal Representations for Multi-Task Learning), um framework centrado na representação que desloca o foco da cirurgia de gradiente para a fatoração semântico-residual motivada causalmente.

1. Decomposição Estrutural

O CORE-MTL decompõe a saída do codificador compartilhado $\Phi_\theta(x)$ em dois fluxos distintos:

• Fluxo Semântico ($\hat{Z}_s$): Captura a estrutura invariante e relevante para a tarefa (ex: geometria, identidade do objeto).
• Fluxo Residual ($\hat{Z}_r$): Absorve a variação de incômodo irrelevante para a tarefa (ex: textura, iluminação, fundo).

Restrição Crucial: Os preditores de tarefa ($f_{\phi_t}$) são restritos a depender exclusivamente do fluxo semântico $\hat{Z}_s$. Esse isolamento estrutural impede que o modelo explore sinais de incômodo como atalhos durante o aprendizado.

2. Objetivos de Treinamento

Para impor essa decomposição e garantir que os fluxos capturem seus papéis pretendidos, o CORE-MTL emprega uma função de objetivo unificada composta por quatro componentes:

• Supervisão de Tarefa ($L_{task}$): Perda padrão para cada tarefa baseada em $\hat{Z}_s$.
• Independência Estrutural ($L_{CKA}$): Utiliza o Alinhamento de Kernel Centrado (CKA) para minimizar a dependência estatística entre $\hat{Z}_s$ e $\hat{Z}_r$, incentivando-os a capturar informações mutuamente exclusivas.
• Aumentação de Característica Contrafactual ($L_{CFA}$): Sintetiza instâncias contrafactuais recombinando o fluxo semântico de uma imagem com um vetor residual aleatório de outra imagem ($\tilde{x} = D(\hat{Z}_s, \tilde{Z}_r)$). O modelo é treinado para manter previsões de tarefa consistentes nessas imagens sintetizadas, impondo a invariância de $\hat{Z}_s às mudanças de incômodo.
• Fundamentação via Reconstrução ($L_{rec}$): Um decodificador auxiliar reconstrói a entrada a partir de $(\hat{Z}_s, \hat{Z}_r)$. Isso fornece um sinal de "fundamentação" para evitar uma fatoração arbitrária. Os autores implementam duas variantes:
  • Fundamentação Forte (Hard Grounding): Utiliza priors físicos explícitos (ex: renderização inversa com modelos de albedo e iluminação) para cenas estruturadas.
  • Fundamentação Suave (Soft Grounding): Utiliza um decodificador convolucional genérico para tarefas onde os priors físicos não estão disponíveis, baseando-se em gargalos arquiteturais e restrições estatísticas.

3. Garantias Teóricas

O artigo fornece análise teórica sob um Modelo Causal Estrutural Linear-Gaussiano (SCM):

• Limite Inferior OOD: Prova que, para qualquer método centrado em otimização que opere em representações emaranhadas, existe um limite inferior de erro OOD inevitável proporcional ao grau de emaranhamento ($\sin^2 \psi$).
• Limite Desemaranhado: Por outro lado, a arquitetura desmembrada do CORE-MTL garante um limite de generalização OOD mais apertado que escala linearmente com o "coeficiente de vazamento" (sensibilidade do fluxo semântico aos fatores residuais).
• Ortogonalidade de Gradiente: O framework induz teoricamente a ortogonalidade de gradiente entre as perdas de tarefa e de resíduo como um subproduto estrutural do desmembramento, resolvendo conflitos no nível da representação em vez de via correção post-hoc.

Principais Contribuições

1. Perspectiva Causal sobre MTL: Os autores formalizam as limitações dos métodos centrados em otimização sob um SCM latente, provando que manipular gradientes em representações emaranhadas não pode eliminar erros OOD.
2. Framework CORE-MTL: Um novo framework centrado na representação que impõe a fatoração semântico-residual via fundamentação física ou genérica, resolvendo a transferência negativa na sua origem.
3. Superioridade Empírica: Experimentos extensos mostram melhorias consistentes sobre dez baselines representativos (incluindo GradNorm, PCGrad, STCH, MTAN) tanto em benchmarks de distribuição interna (NYUv2, Cityscapes) quanto fora da distribuição (GTA5→Cityscapes, Cityscapes-C, Colored-Cityscapes).
4. Escalabilidade: O método mantém custos de treinamento quase constantes conforme o número de tarefas aumenta, evitando o escalonamento proibitivo associado à cirurgia de gradiente como o PCGrad.

Resultados Experimentais

• Distribuição Interna (ID): No NYUv2 e Cityscapes, o CORE-MTL alcança o melhor compromisso geral, obtendo desempenho de topo em segmentação, estimativa de profundidade e predição de normais de superfície.
• Fora da Distribuição (OOD):
  • Sim-to-Real (GTA5→Cityscapes): O CORE-MTL alcança as melhores métricas de domínio alvo e a menor lacuna de desempenho em relação ao desempenho da fonte.
  • Robustez a Corrupções (Cityscapes-C): Supera os baselines sob várias corrupções (contraste, desfoque, névoa, ruído), particularmente em cenários de redução severa de visibilidade.
  • Teste de Estresse de Atalho (Colored-Cityscapes): Em um benchmark onde as cores das classes são permutadas entre a fonte e o alvo, o CORE-MTL permanece robusto, demonstrando que não depende de correlações de aparência espúrias.
• Escalabilidade (CelebA): À medida que o número de tarefas aumenta (até 40 atributos), o CORE-MTL mantém alta precisão enquanto métodos de cirurgia de gradiente (PCGrad) sofrem com tempos de treinamento explosivos.

Significância e Alegações

O artigo afirma que o emaranhamento em representações compartilhadas, e não o esquema de balanceamento de gradiente em si, é uma fonte primária de interferência de tarefas e falha OOD. Ao mudar o paradigma da "cirurgia de gradiente post-hoc" para o "desmembramento intrínseco de representação", o CORE-MTL:

• Resolve conflitos de tarefas estruturalmente, permitindo que as tarefas sinergizem naturalmente sem correção rígida de gradiente.
• Fornece um limite mais apertado para a generalização OOD.
• Oferece uma solução escalável para aprendizado multitarefa que permanece eficaz conforme o número de tarefas cresce.

Os autores posicionam este trabalho como um passo em direção ao design de representação consciente da estrutura para aprendizado multitarefa robusto, indo além da coordenação puramente centrada na otimização. Eles reconhecem limitações, observando que suas garantias teóricas dependem de suposições lineares-gaussianas estilizadas e que a instância atual é destinada principalmente a tarefas de compreensão de cena densa.