InFusionLayer: a CFA-based ensemble tool to generate new classifiers for learning and modeling

Este artigo apresenta o \texttt{InFusionLayer}, uma ferramenta de ensemble em Python baseada na Análise de Fusão Combinatória (CFA) que integra funções de característica de pontuação-rank (RSC) e diversidade cognitiva (CD) para otimizar problemas de classificação multiclasse em fluxos de trabalho de aprendizado de máquina, como PyTorch, TensorFlow e Scikit-learn.

O essencial

Imagine que você está tentando prever o futuro ou resolver um problema complexo, como identificar um objeto em uma foto ou prever o preço de uma ação. Na inteligência artificial, fazemos isso usando "modelos" (que são como cérebros digitais treinados).

Aqui está a explicação do papel InFusionLayer de forma simples, usando analogias do dia a dia:

1. O Problema: Um único especialista não é suficiente

Imagine que você precisa diagnosticar uma doença rara. Você pode consultar um médico, e ele pode estar certo. Mas, e se você consultar cinco médicos diferentes? Um é especialista em ossos, outro em pele, outro em genética, etc.

• Se você seguir apenas o primeiro médico, pode errar.
• Se você seguir todos e tentar adivinhar qual está certo, pode ficar confuso.

Na ciência de dados, isso é chamado de Aprendizado de Conjunto (Ensemble Learning). A ideia é juntar vários modelos para criar um "supermodelo". O problema é que a maioria das ferramentas atuais apenas "joga as respostas no meio" (uma média simples), o que nem sempre funciona bem.

2. A Solução: O "InFusionLayer" (A Camada de Fusão)

Os autores criaram uma ferramenta chamada InFusionLayer. Pense nela como um Maestro de Orquestra ou um Juiz Supremo muito inteligente.

Ela não apenas pega as respostas dos modelos; ela analisa como eles pensam. Ela usa uma técnica chamada Análise de Fusão Combinatória (CFA).

A Analogia da "Dança dos Números e das Posições"

Para entender como o InFusionLayer funciona, imagine que cada modelo é um competidor em uma corrida:

1. Pontuação (Score): É a velocidade do corredor (ex: 9.5 segundos).
2. Classificação (Rank): É a posição que ele ficou (ex: 1º lugar, 2º lugar).

O InFusionLayer faz algo genial: ele olha para a relação entre a pontuação e a classificação de cada modelo. Ele pergunta: "Este modelo é consistente? Ele dá notas altas quando deveria? Ele é diferente dos outros?"

3. O Segredo: Diversidade Cognitiva (CD)

Aqui entra o conceito mais importante do papel: Diversidade Cognitiva.

Imagine que você tem um time de detetives:

• O Detetive A é ótimo em pistas físicas, mas ruim em motivação.
• O Detetive B é ótimo em motivação, mas ruim em pistas físicas.
• O Detetive C é mediano em tudo.

Se você juntar A e B, você tem um time diverso. Eles se complementam. Se você juntar A e outro A (que pensa igual), você não ganha nada novo.

O InFusionLayer calcula matematicamente o quanto cada modelo é diferente (diverso) dos outros.

• Se um modelo é muito diferente e bom, ele ganha mais peso (mais influência na decisão final).
• Se um modelo é muito parecido com os outros, ele ganha menos peso.

É como se o Maestro dissesse: "O violinista (Modelo A) tem um som único e especial, vamos deixá-lo tocar mais alto. O segundo violinista (Modelo B) toca quase igual ao primeiro, então vamos deixá-lo mais baixo."

4. Como a Ferramenta Funciona na Prática

O papel descreve que o InFusionLayer é uma ferramenta feita em Python (a linguagem mais popular de inteligência artificial) que funciona como uma "caixa preta" fácil de usar:

1. Entrada: Você dá a ela os resultados de vários modelos (seja de PyTorch, TensorFlow ou Scikit-learn).
2. Processo:
   • Ela transforma os resultados em "pontuações" e "classificações".
   • Ela mede a "diversidade" de cada um.
   • Ela cria novos modelos híbridos combinando os antigos de várias formas (pegando os 2 melhores, os 3 melhores, etc.).
3. Saída: Ela entrega o melhor modelo possível, que é mais inteligente do que qualquer um dos modelos individuais que você começou com.

5. Os Resultados (O que eles provaram)

Os autores testaram essa ferramenta em vários desafios difíceis:

• Reconhecimento de 3D: Identificar objetos tridimensionais (como peças de máquinas ou móveis) em nuvens de pontos.
• Reconhecimento de Imagens: Identificar gatos, carros ou dígitos escritos à mão (como o famoso conjunto de dados MNIST).

O resultado? Em todos os casos, o modelo criado pelo InFusionLayer foi mais preciso do que o melhor modelo individual que eles usaram. Eles conseguiram melhorar a precisão de reconhecimento de objetos 3D e imagens 2D, provando que "juntar as peças certas" funciona melhor do que tentar achar o "super-herói" único.

Resumo Final

O InFusionLayer é como um chef de cozinha genial.
Em vez de usar apenas um ingrediente (um único modelo de IA), ele pega vários ingredientes (vários modelos), testa como eles interagem, descobre quais têm sabores únicos (diversidade) e cria uma receita nova e perfeita (o modelo híbrido) que é muito mais saborosa (precisa) do que qualquer ingrediente sozinho.

A grande novidade é que eles tornaram essa tecnologia complexa disponível para qualquer pessoa usar no Python, abrindo portas para que cientistas e desenvolvedores criem sistemas de IA mais inteligentes e robustos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "InFusionLayer: a CFA-based ensemble tool to generate new classifiers for learning and modeling", apresentado em português:

Resumo Técnico: InFusionLayer

1. O Problema

A Aprendizagem de Conjunto (Ensemble Learning) é uma prática estabelecida para melhorar o desempenho preditivo combinando múltiplos algoritmos. A Análise de Fusão Combinatória (CFA - Combinatorial Fusion Analysis) oferece métodos robustos para combinar sistemas de pontuação múltiplos (MSS) utilizando a função Característica Pontuação-Rank (RSC) e a Diversidade Cognitiva (CD). No entanto, a literatura e a prática atual apresentam uma lacuna significativa:

• Não existia uma ferramenta de propósito geral em Python que incorporasse essas técnicas avançadas de CFA.
• As ferramentas existentes eram altamente especializadas (focadas em quimioinformática e descoberta de fármacos) e não integravam facilmente modelos de aprendizado de máquina modernos (como PyTorch, TensorFlow e Scikit-learn) para uma ampla gama de domínios.
• A maioria das ferramentas de ensemble atuais foca apenas na combinação de pontuações, negligenciando a combinação de ranks (classificações), que é um componente crucial da CFA.

2. Metodologia

O artigo introduz o InFusionLayer, uma arquitetura de aprendizado de máquina inspirada na CFA no nível de fusão de sistemas. A metodologia opera da seguinte forma:

• Entrada: O sistema aceita as previsões (seja em forma de probabilidades ou logits) de um conjunto moderado de classificadores base pré-treinados. Cada classe de previsão é tratada como um vetor de itens de dados.
• Processamento de Ranks e Pontuações:
  • O sistema gera uma matriz de pontuações e uma matriz de ranks (classificações) para cada modelo base.
  • Calcula a Função Característica Pontuação-Rank (RSC) para cada modelo, mapeando as pontuações normalizadas contra os ranks.
• Cálculo de Diversidade Cognitiva (CD):
  • Utiliza a função RSC para medir a dissimilaridade entre os modelos, calculando a Diversidade Cognitiva (CD) entre pares de modelos.
  • Deriva a Força de Diversidade (DS) de cada modelo, que quantifica quão diferente um modelo é em relação aos outros.
• Estratégias de Combinação (Pesos):
  O InFusionLayer aplica três esquemas de ponderação para combinar os modelos:
  1. Combinação Média (AC): Média simples de pontuações e ranks.
  2. Combinação Ponderada por Força de Diversidade (WCDS): Pondera modelos com base na sua diversidade cognitiva (usando DS como peso para pontuações e $1/DS$ para ranks).
  3. Combinação Ponderada por Desempenho (WCP): Pondera modelos baseados em sua acurácia individual ($p(A_j)$ e $1/p(A_j)$).
• Geração de Novos Modelos:
  • O sistema gera combinações de modelos (de pares a conjuntos completos) aplicando as fórmulas de fusão tanto nas pontuações quanto nos ranks.
  • Isso resulta em múltiplos novos modelos híbridos (ex: com 5 modelos base, são gerados 26 combinações de pontuação e 26 de rank, totalizando 52 modelos por esquema de peso).
  • O modelo com a maior acurácia no conjunto de validação, superando o melhor modelo base, é selecionado como saída.
• Arquitetura: Implementado como uma classe orientada a objetos em Python, suportando processamento em batch e estruturas de tensores para eficiência computacional.

3. Principais Contribuições

• Ferramenta de Propósito Geral: Lançamento do InFusionLayer como uma biblioteca Python de código aberto, compatível com PyTorch, TensorFlow e Scikit-learn, democratizando o uso da CFA.
• Aplicação em Multiclasses: Adaptação inovadora da CFA (originalmente usada em recuperação de informação) para problemas de multiclasses, tratando cada classe como um vetor de dados.
• Integração de Rank e Score: Implementação completa da combinação de ranks e pontuações, algo frequentemente negligenciado em ferramentas de ensemble convencionais.
• Flexibilidade: Suporte para aprendizado supervisionado e não supervisionado, além da capacidade de gerar novos classificadores base para iterações recursivas (conceito futuro de InFusionNet).

4. Resultados

Os autores validaram o InFusionLayer em diversos conjuntos de dados de visão computacional (2D e 3D):

• Conjuntos de Dados: MCB A/B (objetos 3D), ModelNet40/10 (CAD 3D), ImageNet (imagens 2D) e MNIST (dígitos manuscritos).
• Desempenho: O método demonstrou consistentemente superar os melhores modelos base individuais em todos os conjuntos de dados testados.
  • MCB A: Acurácia de 95,78% (vs. melhor base de 95,11%).
  • ModelNet10: Acurácia de 88,88% (vs. melhor base de 84,69%).
  • MNIST: Acurácia de 99,06% (vs. melhor base de 99,04% em um cenário específico).
• Robustez: A ferramenta mostrou eficácia tanto em dados 3D complexos quanto em imagens 2D, utilizando arquiteturas de modelos diversas (DGCNN, PointNet++, CNNs, Random Forests, etc.).
• Observação: Os autores notaram que, em alguns casos, a combinação baseada em ranks teve desempenho inferior ao de pontuações devido à forma como os ranks de empate são calculados no PyTorch, sugerindo uma área para melhoria futura.

5. Significado e Impacto

O InFusionLayer preenche uma lacuna crítica no ecossistema de Machine Learning ao fornecer uma implementação acessível e eficiente da Análise de Fusão Combinatória.

• Avanço Científico: Demonstra que a incorporação de características distintas da função RSC e da Diversidade Cognitiva pode levar a ganhos práticos e significativos na acurácia preditiva.
• Acessibilidade: Ao ser open-source e compatível com as bibliotecas mais populares, permite que pesquisadores e engenheiros de dados apliquem fusão de modelos sofisticada sem a necessidade de desenvolver algoritmos complexos do zero.
• Futuro: O trabalho estabelece a base para sistemas de otimização combinatória em camadas (InFusionNet) e expande o uso da CFA para além da descoberta de fármacos, abrindo caminho para aplicações em visão computacional, otimização e outras áreas de ciência de dados.

O código-fonte está disponível publicamente no GitHub, incentivando o desenvolvimento contínuo e a acessibilidade da comunidade.