💻 computer science

CNN Regularization and Model Capacity: An Empirical Investigation of L1, L2, and Dropout in Hand Sign Image Classification

Este estudo empírico demonstra que, na classificação de imagens de sinais manuais, aumentar a capacidade da CNN não garante um melhor desempenho e que a regularização por dropout, particularmente em taxas dependentes da arquitetura, supera significativamente as penalidades L1 e L2, com um modelo de tamanho médio alcançando a acurácia mais alta de 96,66%.

Autores originais: Chaitanya Patil

Publicado 2026-08-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chaitanya Patil

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da visão computacional, as máquinas estão aprendendo a enxergar. Elas fazem isso usando cérebros digitais chamados redes neurais convolucionais, que são projetadas para reconhecer padrões em imagens, assim como os olhos e cérebros humanos fazem. Esses sistemas são incrivelmente poderosos, capazes de identificar tudo, desde placas de trânsito até exames médicos. No entanto, há uma pegadinha. Quando esses cérebros digitais se tornam grandes e complexos demais, eles podem começar a memorizar os exemplos específicos que lhes são mostrados em vez de aprender as regras gerais de como reconhecer um objeto. Isso é conhecido como sobreajuste (overfitting). Imagine um estudante que memoriza as respostas de um teste prático específico, mas falha no exame real porque não consegue aplicar o que aprendeu a novas questões. Para evitar isso, os cientistas usam técnicas chamadas de regularização. Estas são métodos que restringem suavemente o processo de aprendizado, forçando o sistema a encontrar padrões mais simples e robustos que funcionem em dados que ele nunca viu antes. A questão que os pesquisadores têm feito é se tornar o cérebro digital maior sempre ajuda, ou se existe um ponto ideal onde o tamanho do cérebro e a força das restrições funcionam melhor juntos.

Um pesquisador do Instituto Indiano de Tecnologia de Kharagpur partiu para responder a essa pergunta construindo uma série de cérebros digitais para reconhecer sinais de mão. A tarefa era ensinar um computador a distinguir entre seis diferentes gestos manuais, cada um representando um número de um a seis. O pesquisador criou três versões do mesmo sistema de visão computacional, cada uma com um nível diferente de capacidade. A primeira era um sistema pequeno, a segunda era de tamanho médio e a terceira era grande. A única diferença entre eles era o número de conexões internas que possuíam; o sistema grande tinha muito mais caminhos para a informação viajar do que o pequeno. O objetivo era ver se simplesmente adicionar mais conexões tornaria o sistema mais inteligente ou se apenas o tornaria mais propenso a memorizar os dados de treinamento.

Os experimentos começaram com uma descoberta surpreendente. Quando os sistemas foram deixados para aprender sem quaisquer restrições, o sistema de tamanho médio teve o melhor desempenho. Ele identificou corretamente os sinais de mão nas imagens de teste cerca de 91,67 por cento das vezes. O sistema grande, apesar de ter a maior capacidade de aprendizado, teve um desempenho pior, alcançando apenas cerca de 83,33 por cento de precisão. Isso aconteceu porque o sistema grande era tão poderoso que memorizou os detalhes específicos das imagens de treinamento, incluindo o ruído aleatório, em vez de aprender a forma real dos sinais de mão. Era como um estudante que estudou tanto o teste prático que memorizou a ordem exata das perguntas, mas falhou em entender os conceitos subjacentes. O sistema médio, com menos conexões, foi forçado a encontrar um equilíbrio, aprendendo as características essenciais sem se distrair com o ruído.

Para melhorar esses resultados, o pesquisador aplicou diferentes técnicas para impedir que os sistemas sofressem sobreajuste. Um método envolveu adicionar uma penalidade por ter pesos internos grandes, o que é semelhante a encorajar o sistema a manter suas configurações internas simples. Outro método envolveu desligar aleatoriamente partes do sistema durante o treinamento, forçando-o a depender de diferentes caminhos para resolver o problema. Essa técnica, conhecida como dropout, provou ser a ferramenta mais eficaz. Quando aplicada ao sistema de tamanho médio, ela elevou a precisão para 96,66 por cento, a pontuação mais alta alcançada em todo o estudo.

O estudo também revelou que a melhor maneira de usar essas ferramentas depende do tamanho do sistema. Para o sistema pequeno, uma quantidade suave de desligamento aleatório funcionou bem. Para o sistema médio, uma quantidade moderada foi a melhor. Mas para o sistema grande, que tinha a maior capacidade de memorização, os pesquisadores descobriram que uma dose mais forte de desligamento aleatório era necessária para obter bons resultados. Isso sugere que sistemas maiores precisam de restrições mais fortes para evitar que memorizem os dados de treinamento. O pesquisador também testou a combinação de diferentes métodos, mas descobriu que simplesmente empilhá-los juntos não tornava o sistema automaticamente melhor. Na verdade, os melhores resultados vieram do uso de um único método bem ajustado, em vez de uma mistura complexa.

Os achados foram verificados quanto à confiabilidade, executando os experimentos várias vezes com diferentes condições iniciais, e os principais resultados se mantiveram. O estudo conclui que construir um sistema de visão computacional maior não garante um melhor desempenho. Em vez disso, o tamanho do sistema deve ser correspondido com a quantidade certa de restrição. Um sistema de tamanho médio com o equilíbrio certo de restrições pode superar um muito maior. Este trabalho fornece um guia claro e prático de como ajustar esses cérebros digitais, mostrando que, na busca pela inteligência artificial, às vezes menos é mais, e a força das regras importa tanto quanto o tamanho do cérebro.

Resumo Técnico: Regularização de CNN e Capacidade de Modelo

Definição do Problema
Redes Neurais Convolucionais (CNNs) são ferramentas poderosas para classificação de imagens, mas enfrentam desafios significativos de generalização quando a capacidade do modelo é alta em relação ao tamanho do conjunto de dados de treinamento. Modelos de alta capacidade frequentemente memorizam exemplos de treinamento em vez de aprender padrões generalizáveis, levando ao overfitting (sobreajuste). Embora técnicas de regularização como penalização L1, decaimento de peso L2 e dropout sejam métodos padrão para mitigar o overfitting, a interação específica entre a capacidade do modelo e a eficácia dessas estratégias permanece uma área de investigação ativa. Não está claro se modelos maiores requerem regularização proporcionalmente mais forte ou se modelos menores se beneficiam de restrições mais fracas para evitar o underfitting (subajuste).

Metodologia
Este estudo apresenta uma investigação empírica sistemática utilizando uma tarefa de classificação de imagens de sinais manuais de seis classes. A pesquisa emprega um framework experimental controlado com os seguintes componentes:

Conjunto de Dados: Um conjunto de dados publicamente disponível de 1.080 imagens de treinamento e 120 imagens de teste (64×64×3 RGB) representando sinais manuais de 1 a 6. As imagens foram normalizadas dividindo os valores dos pixels por 255.0, e os rótulos foram codificados via one-hot encoding.
Arquitetura: Três arquiteturas de CNN foram projetadas com profundidade idêntica, mas larguras (capacidade) variadas:
- Pequena (Small): 16 → 32 → 64 filtros/unidades.
- Média (Medium): 32 → 64 → 128 filtros/unidades.
- Grande (Large): 64 → 128 → 256 filtros/unidades.
  Todos os modelos utilizaram duas camadas convolucionais (kernels 3×3, ReLU, max pooling 2×2), uma camada totalmente conectada e uma camada de saída com softmax.
Configuração de Treinamento: Os modelos foram treinados usando o otimizador Adam (taxa de aprendizado 0.001) por 1.000 iterações com inicialização He Normal. A função de perda principal foi a entropia cruzada (cross-entropy).
Estratégias de Regularização: O estudo avaliou:
- Regularização L1: Coeficientes ( $\lambda_1$ ) de 0.001, 0.01 e 0.05.
- Regularização L2: Coeficientes ( $\lambda_2$ ) de 0.1, 0.3, 0.6, 1.0 e 2.0.
- Dropout: Taxas de 0.1, 0.3 e 0.5 aplicadas à primeira camada totalmente conectada.
- Combinado L1+L2: Aplicação simultânea com $\lambda_1=0.05$ e $\lambda_2=0.6$ .
Avaliação: As métricas primárias foram a acurácia de teste e a acurácia de treinamento. Os experimentos foram conduzidos principalmente com a semente aleatória 42, com verificações de reprodutibilidade realizadas usando as sementes 1137 e 2024.

Resultados Principais
Os experimentos produziram várias descobertas distintas sobre a interação entre capacidade e regularização:

Capacidade vs. Desempenho: O aumento da capacidade do modelo não melhorou automaticamente a acurácia de teste. O modelo Médio não regularizado alcançou a maior acurácia base (91.67%), superando o modelo Grande (83.33%) e o modelo Pequeno (84.16%). O modelo Grande alcançou 100% de acurácia de treinamento, mas falhou em generalizar, sugerindo que memorizou ruído.
Eficácia do Dropout: O Dropout produziu o desempenho mais forte em todas as configurações. A taxa de dropout ideal deslocou-se para uma regularização mais forte conforme a capacidade do modelo aumentava:
- Modelo Pequeno: Melhor desempenho com 0.1 ou 0.3 (90.83%).
- Modelo Médio: Melhor desempenho com 0.3, alcançando o pico de acurácia do estudo de 96.66%.
- Modelo Grande: Melhor desempenho com 0.5 (95.00%).
Sensibilidade L1 e L2:
- L2: Uma regularização moderada ( $\lambda_2=0.1$ ) melhorou o modelo Médio para 95.00%, mas o desempenho degradou significativamente em forças altas ( $\lambda_2=2.0$ ), indicando over-regularização.
- L1: Mostrou sensibilidade dependente da arquitetura. Para o modelo Pequeno, um L1 mais forte ( $\lambda_1=0.05$ ) melhorou a acurácia para 91.66%, enquanto o modelo Grande teve melhor desempenho com o L1 mais fraco ( $\lambda_1=0.001$ ).
Regularização Combinada: A combinação de L1 e L2 não superou os regularizadores individuais mais fortes, gerando uma acurácia média de teste de 87.50% para o modelo Médio.
Reprodutibilidade: Verificações selecionadas confirmaram a estabilidade das principais descobertas, embora alguma variação tenha sido observada (ex: o modelo Médio com dropout 0.3 caiu de 96.66% para 93.34% sob a semente 1137).

Significância e Alegações
O artigo posiciona-se como um estudo empírico exploratório em vez de uma fonte de teoria universal. Suas principais contribuições são:

Fornecer uma comparação controlada de estratégias de regularização através de três níveis distintos de capacidade dentro de uma única família de arquiteturas.
Demonstrar que a capacidade do modelo por si só não é um preditor de desempenho de generalização; um modelo de tamanho médio pode superar um maior se este último estiver propenso ao overfitting sem as restrições apropriadas.
Estabelecer uma tendência empírica onde modelos maiores se beneficiam de taxas de dropout mais fortes, alinhando-se à intuição de que uma maior capacidade requer uma regularização mais agressiva para evitar a coadaptação.
Destacar que os métodos de regularização não necessariamente se compõem linearmente, visto que a abordagem combinada L1+L2 falhou em superar os métodos individuais.

O autor afirma explicitamente que estas conclusões são restritas às arquiteturas, conjuntos de dados, intervalos de hiperparâmetros e condições investigadas. Eles não alegam fornecer uma lei de escala universal para a regularização, mas oferecem observações empíricas para informar investigações futuras sobre as interações entre capacidade e regularização.

Mais como este